모질라가 9월 14일 낸 「State of Open Source AI」 1.1판은 Epoch AI 능력 지수에서 오픈 최상위 Kimi K3(157)가 클로드 페이블 5·오푸스 5(162)에 5점 뒤지고, Epoch AI 가 올해 평균으로 잰 8점 격차는 약 넉 달에 해당하며 모질라가 METR 원자료로 다시 계산한 지연은 4.4개월이라고 적었어요. '5배'는 vals.ai 의 중립 하네스(Terminus 2)로 돌린 Terminal-Bench 2.1 에서 GLM 5.2 가 과제당 0.43달러로 67.79%, 클로드 오푸스 4.7 이 1.98달러로 68.54%를 낸 결과이고, 같은 보고서가 표 가격으로 비교한 K3 대 페이블 5 는 2.1점 차이에 입력 가격 30%, 과제당 비용으로 비교한 K3 대 GPT-5.6 Sol 은 30% 저렴에 그쳐서 배수는 어느 짝을 어떤 하네스로 재느냐에 따라 달라져요. 코딩 쪽은 SWE-bench 류인 FrontierSWE 에서 K3 81.2 대 페이블 5 86.6 으로 폐쇄 모델이 앞서고 Terminal-Bench 2.1 은 88.3 대 88.8 로 붙었는데, 이 두 수치는 문샷 모델 카드의 자체 측정이라 보고서도 방향만 보라고 달아 뒀어요.
- METR
- AI 모델이 혼자 끝낼 수 있는 과제 길이를 시간 단위로 재는 미국 평가 기관
- SWE-bench
- 실제 깃허브 이슈를 고치게 시켜 코딩 에이전트를 재는 벤치마크. FrontierSWE 는 같은 방식의 최신판
- Terminal-Bench
- 터미널에서 명령을 실행하며 과제를 끝내는 능력을 재는 에이전트 벤치마크
- vals.ai
- 벤더와 무관하게 같은 하네스로 모델을 돌려 점수와 비용을 공개하는 독립 평가 회사
코딩 에이전트에 붙일 모델을 고를 때 이 보고서에서 쓸 대목은 배수 자체보다 측정 조건이에요. 같은 앤트로픽 가중치가 클로드 코드에서 58.0%, 다른 하네스에서 79.8%를 낸 것처럼 공개 점수는 모델과 하네스의 짝이라, 오픈 모델로 갈아탈지는 벤더 표가 아니라 지금 쓰는 하네스(Codex CLI·OpenCode 등)에 그 모델을 꽂아 자기 과제로 돌린 과제당 비용과 정답률로 정하는 게 맞아요.
- 보고서 원문(PDF) 5장 57절이 vals.ai 중립 하네스의 Terminal-Bench 2.1 에서 GLM 5.2 와 클로드 오푸스 4.7 이 1점 차이에 과제당 비용 5배라고 적고, 1장 10절은 8시간 아래 과제는 어느 쪽이든 되고 12시간 넘는 과제는 어느 쪽도 안 되니 그 사이 과제에만 5배 값을 치르라고 정리해요. Mozilla
- 넉 달의 원 출처 Epoch AI 가 2026년 1월부터 오픈 최상위 모델이 폐쇄 최전선에 평균 8점(90% 신뢰구간 7~11점), 약 넉 달 뒤진다고 잰 분석이에요. 2025년 10월 분석의 약 석 달보다 조금 벌어졌어요. Epoch AI
- 매체 해석 아스테크니카는 이 보고서를 미리 받아 보고 최전선 유료 모델을 쓰는 것은 넉 달 앞선 능력을 다섯 배 비용에 사는 일이라고 제목을 달았어요. Ars Technica
- 판 갱신 이력 1.0판은 7월 14일, 1.1판은 9월 14일에 나왔고 1.1판에서 넉 달·4.4개월 지연 계산과 하네스 절이 새로 들어갔어요. Mozilla