9월 2일 나온 뮤즈 스파크 1.3이 메타 자기 평가표에서 긴 호흡 코딩 DeepSWE v1.1 75.4로 오푸스 5(74.0)·GPT 5.6 Sol(73.0)을 앞섰고, 코드베이스 이해 SWE Atlas CodeBase QnA는 59.4, 터미널 코딩 Terminal-Bench 2.1은 88.8을 적었어요 — 8월 1.2 때 메타가 직접 실은 코딩 성적 셋이 다 클로드 코드에 뒤졌던 것과 뒤집힌 자리예요. 정작 그 숫자가 나온 열은 전부 max 추론 기준인데, 같은 발표문이 'max 추론은 추가 안전 시험을 마친 뒤에 곧 온다'고 적어 뒀어요. 오늘 쓸 수 있는 xhigh 열에는 DeepSWE 칸이 아예 비어 있고, Terminal-Bench에선 그 xhigh(89.2)가 못 쓰는 max(88.8)보다 오히려 높아요.
용어 풀이
- DeepSWE v1.1
- 저장소 91곳에서 뽑은 113개 과제를 처음부터 짜게 하고 기능·회귀 테스트로 채점하는 긴 호흡 코딩 평가
- Terminal-Bench 2.1
- 터미널에서만 89개 과제를 끝까지 수행시키고 최종 컨테이너 상태를 검사해 채점하는 평가
- SWE Atlas CodeBase QnA
- 저장소 11곳의 코드를 읽고 답하게 해 코드 이해도를 재는 124개 과제 평가
- xhigh
- 메타 모델의 추론 노력 단계 이름. 한 단계 위가 max로, 1.3에서는 아직 열리지 않음
운영자 인사이트
지금 부를 수 있는 건 xhigh라 도입 검토는 max 열이 아니라 xhigh 열로 해야 맞는데, 정작 그 열엔 긴 호흡 코딩 점수가 없고 Terminal-Bench 88.8은 GPT 5.6 Sol과 동점이에요 — 요금도 1.2와 그대로니, 사내 코드를 옮길지는 max가 열린 뒤에 다시 재 보는 게 안전해요.
여러 관점으로 보기
- 평가 방법론 — 자기 모델과 남의 모델을 다르게 쟀어요 DeepSWE 점수는 1.3만 메타가 직접 돌려서 얻고 나머지 모델은 공개 순위표 값을 가져왔고, Terminal-Bench의 GPT 5.6 Sol 점수도 메타가 잰 게 아니라 모델 카드에 적힌 값을 옮긴 거예요. Meta AI Research
- 요금·문맥 — 1.2에서 하나도 안 바뀌었어요 입력 100만 토큰 1.25달러·출력 4.25달러에 문맥 100만 토큰으로 1.2와 같고, 데이터를 학습에 내주는 기여자 줄은 0.10달러·0.20달러예요. Meta for Developers
- 현장 반응 — 점수보다 못 쓰는 모드를 먼저 짚었어요 476점 315댓글이 달렸는데 평가표가 max 기준으로만 돼 있다는 지적과, 싼 요금은 우리 대화를 학습시키려고 깎아 준 값이라는 해석이 앞섰어요. Hacker News
- 다른 매체 확인 — 이긴 자리와 진 자리를 갈라 적었어요 터미널 코딩은 GPT 5.6 Sol과 88.8 동점이고 지식 노동 평가는 오푸스 5(1824)가 1.3(1754)보다 위인데, max 추론은 아직 내부 안전 시험 중이라고 적었어요. OfficeChai