ARC Prize 재단이 9월 1일 올린 검증 결과를 보면, 클로드 페이블 5.1은 추론 강도를 최대로 올렸을 때 ARC-AGI-1에서 97.5%를 과제당 1.40달러에, ARC-AGI-2에서 90.0%를 과제당 4.49달러에 냈어요. 전 세대 페이블 5가 ARC-AGI-2에서 89.2%·과제당 5.45달러였으니 0.8점 오르고 값은 18% 싸졌는데, ARC-AGI-1은 페이블 5가 더 싼 과제당 1.02달러에 98.5%를 낸 자리라 점수와 값이 함께 뒤집혔어요. 재단은 1등이라는 말을 붙이지 않았고, 실제로 ARC-AGI-2는 GPT-5.6 Sol이 92.5%, 클로드 오푸스 5가 90.4%로 페이블 5.1보다 위예요.
용어 풀이
- ARC-AGI
- 격자 무늬 예시 몇 개를 보고 숨은 규칙을 알아내 답을 그려 내는 추상 추론 평가. 코딩 실력이 아니라 처음 보는 규칙을 찾아내는 힘을 잰다.
- 추론 강도
- 모델이 답하기 전에 얼마나 오래 생각하게 할지 정하는 설정. ARC Prize는 낮음·보통·높음·매우 높음·최대 다섯 단계로 나눠 잰다.
- 터미널벤치(Terminal-Bench)
- 터미널에서 실제 작업을 끝까지 시켜 보고 성공 여부를 채점하는 에이전트 평가.
운영자 인사이트
ARC-AGI는 격자 퍼즐로 추상 추론을 재는 평가라 코딩 실력의 대리 지표로 쓰기 어려워요. 앤트로픽이 함께 내건 에이전트 코딩 평가에선 터미널벤치 4.0이 42.0%에서 55.8%로 올라 두 그림이 서로 다르거든요. 여기서 실무에 남는 건 점수보다 추론 강도 칸이에요. 같은 페이블 5.1인데 강도를 최저로 낮추면 ARC-AGI-2가 90.0%에서 78.3%로 떨어지니, 벤치마크 수치를 볼 때 어느 강도에서 잰 값인지부터 확인하세요.
여러 관점으로 보기
- 전 세대 비교 페이블 5는 ARC-AGI-1에서 98.5%를 과제당 1.02달러(한 단계 낮은 강도)에 냈고, 재단은 그때 '지금까지 평가한 모델 중 ARC-AGI-1 최고점'이라고 적었어요. ARC Prize
- 경쟁 모델 위치 GPT-5.6 Sol은 최대 강도에서 ARC-AGI-2 92.5%로 페이블 5.1보다 2.5점 위인데, 대신 ARC-AGI-1은 96.5%로 1점 아래예요. ARC Prize
- 같은 회사 다른 모델 클로드 오푸스 5도 ARC-AGI-2 90.4%로 페이블 5.1보다 위고, 아직 결과가 없는 ARC-AGI-3에선 30.2%로 1위예요. ARC Prize
- 코딩 평가는 다른 그림 앤트로픽이 내건 표에선 터미널벤치 4.0이 42.0%에서 55.8%로, 터미널벤치-사이언스 0.1이 24.7%에서 52.6%로 올랐어요. The Decoder
- 채점 방식 재단이 직접 돌리고 문제를 공개하지 않는 묶음으로 재며, 비용은 회사 내부 원가가 아니라 소매 가격으로 환산해요. ARC Prize