모델 성능 측정 사이트 아티피셜 애널리시스(Artificial Analysis)의 종합 지능 지표에서 클로드 오푸스 5(max)가 61점으로 1위에 올랐고, 7월 27일 지금 확인해도 자리를 지키고 있어요. 다만 2위 클로드 페이블 5(60점), 3위 GPT-5.6 Sol(59점)과의 차이가 2점 안팎이고, 1위 점수는 모델이 가장 오래 생각하도록 맞춘 'max effort' 설정에서 나온 값이라 평소 업무 설정과는 거리가 있어요. 코딩만 떼어 보면 순위가 달라져서, SWE-bench Pro에서는 오푸스 5(79.2%)가 오히려 페이블 5(80.3%)에 밀려요.
용어 풀이
- max effort
- 모델이 답을 내기 전 생각을 가장 오래 하도록 맞춘 최고 단계. 점수는 오르지만 비용과 대기 시간도 같이 오름
- Terminal-Bench
- 모델이 터미널에서 직접 명령을 실행해 소프트웨어 작업을 끝까지 해내는지 재는 평가
- SWE-bench Pro
- 실제 오픈소스 저장소의 이슈를 모델이 코드 수정으로 해결하는지 재는 평가
운영자 인사이트
종합 1위 숫자만 보고 팀 기본 모델을 바꾸면 손해 보기 쉬워요. 그 61점은 'max effort' 설정에서 나온 값인데, 이 설정의 오푸스 5는 첫 응답이 나오기까지 평균 70초·초당 52.8토큰이라 대화형 코딩에서는 확실히 답답해요. 해커뉴스에서도 '중간 설정이면 코딩 작업 95%는 충분한데 왜 max끼리만 비교하냐'는 지적이 여러 번 나왔어요. 우리 저장소에서 같은 작업 열 개를 직접 돌려 보고 정하는 편이 나아요.
여러 관점으로 보기
- 1차 출처 · 측정 결과 오푸스 5(max)가 종합 61점으로 1위에 올랐고, 작업 한 건당 평균 2.03달러로 페이블 5(2.75달러)보다 26% 저렴하며 Terminal-Bench v2.1에서 89%를 받았어요. Artificial Analysis
- 오늘 시점 순위 확인 7월 27일 현재도 오푸스 5(max) 61점이 1위이고 그 뒤를 오푸스 5(xhigh)와 페이블 5가 60점으로, GPT-5.6 Sol(max)이 59점으로 따라붙고 있어요. Artificial Analysis
- 커뮤니티 반론 · 값어치 논쟁 371점·229댓글이 달린 토론에서 '두 배 비용에 4% 더 똑똑한 게 값어치가 있나', '지표가 어려운 과제를 안 넣으면 결국 어느 모델이 싼지 재는 꼴'이라는 지적이 이어졌어요. Hacker News
- 지표가 무엇으로 만들어졌나 종합 점수는 아홉 개 평가를 가중 합산한 값이고 그중 코딩 비중은 24%(Terminal-Bench 16% + SciCode 8%)에 그쳐서, 1위라고 코딩 1위는 아니에요. Artificial Analysis
- 속도라는 숨은 비용 같은 설정의 오푸스 5는 초당 52.8토큰을 내놓고 첫 응답까지 69.71초가 걸리는데, 이는 비슷한 모델들의 중간값 2.80초와 크게 벌어진 수치예요. Artificial Analysis