엔비디아가 8월 21일 개발자 블로그에서, 모델은 클로드 오푸스 5 그대로 두고 실행 틀(하네스)만 자체 구조 AVO로 바꿔 ARC-AGI-3 공개 세트 25개 환경·183단계를 전부 풀고 RHAE 100.00을 받았다고 밝혔어요. 달라진 건 앞선 시도를 다음으로 넘기는 지속 기억, 진척이 멈추면 방향을 되돌리는 감독자, 그리고 도구 묶음이고, 환경 조작 횟수는 6,624번으로 앞서 나온 VISTA(7,542번)보다 12%쯤 적었어요. 다만 나란히 든 '오푸스 5는 30%'는 ARC Prize가 따로 발표한 값이고, 엔비디아 자신이 '두 시스템은 에이전트 백엔드·관측 표현·기억·컨텍스트 관리가 달라 통제된 비교로 봐선 안 된다'고 적어 뒀으며, 대회용 준비공개·비공개 세트 성적도 총비용·토큰·걸린 시간도 공개하지 않았어요.
용어 풀이
- AVO
- 엔비디아가 만든 에이전트 실행 구조. 기억·감독자·도구를 묶어 모델을 오래 자율로 굴리는 틀
- ARC-AGI-3
- 설명 없이 주어진 2차원 게임을 스스로 탐색해 규칙과 목표를 알아내야 하는 대화형 추론 시험
- RHAE
- 사람 대비 행동 효율 점수. 100이면 모든 단계를 사람만큼 적은 조작으로 깼다는 뜻
- VISTA
- 같은 시험에서 앞서 공개된 다른 에이전트 시스템
운영자 인사이트
여기서 확인된 건 '같은 모델이라도 실행 틀에 따라 결과가 갈린다'까지고, '하네스만 고치면 30%가 100점 된다'는 아니에요. 그러니 모델 교체부터 따지기 전에, 앞 단계 결과가 다음으로 넘어가는지·막혔을 때 방향을 되돌리는 장치가 있는지를 우리 파이프라인에서 한 번에 하나씩만 바꿔 재 보는 게 순서예요.
여러 관점으로 보기
- 매체가 붙인 해석 '이제 주인공은 모델이 아니라 하네스'라고 제목을 뽑았지만, 근거로 든 30% 대 100점은 엔비디아가 스스로 통제된 비교가 아니라고 못 박은 숫자예요. TechCrunch
- AVO의 원 논문은 다른 주제 AVO 논문은 3월 25일 자이고 내용은 GPU 커널 최적화예요. 이번 100점은 그 구조를 다른 시험에 붙여 본 블로그 결과지 논문에 실린 성적이 아니에요. arXiv