윌리엄 선이 8월 20일 올린 글은 '클로드 코드가 나쁜 하네스'라는 판단을 체감이 아니라 남의 벤치마크 셋으로 폈는데, 셋을 직접 열어 보면 비용 대목이 정반대예요. 터미널벤치 2.0 논문은 오푸스 4.5로 74개 과제를 풀 때 클로드 코드가 입력 토큰 2억 5,690만 개를 쓰고 52.1%를 맞힌 반면 중립 뼈대인 터미너스 2는 390만 개로 57.8%를 맞혔다고 적었고, 데이터브릭스는 7월 8일 글에서 '같은 모델·같은 사고량인데 과제당 비용이 2배 넘게 갈렸고 품질은 같았다, 파이(pi)가 턴마다 맥락을 3분의 1만 보냈다'고 했어요. 반대로 아티피셜 애널리시스에서는 오푸스 4.7을 medium 으로 맞췄을 때 클로드 코드가 점수 0.424로 꼴찌지만 입력 토큰을 가장 적게 써 제일 싼 쪽이었고, 같은 표에서 max 로 올리면 0.516이 돼 오픈코드(0.513)를 넘어요.
용어 풀이
- 하네스
- 모델에 도구·맥락·실행 절차를 붙여 실제 작업을 시키는 껍데기 프로그램. 클로드 코드·커서 CLI·오픈코드 등
- CLI
- 명령줄로 입력해 쓰는 형태의 프로그램
- API
- 다른 프로그램이 불러 쓰도록 열어 둔 창구. 쓴 만큼 토큰 단위로 요금이 매겨진다
운영자 인사이트
셋 다 오푸스 4.5·4.7·4.8로 잰 옛 짝이라 지금 내 환경에 그대로 붙지는 않지만, 세 자료가 공통으로 지목한 건 '턴마다 보내는 맥락 크기'예요 — 하네스를 갈아타기 전에 내 세션의 턴당 입력 토큰부터 재 보세요. 같은 클로드 코드도 medium 에선 꼴찌였다가 max 에선 오픈코드를 넘겼으니, 사고량 다이얼이 점수와 청구서를 함께 움직이는 폭부터 확인하는 게 순서예요.
여러 관점으로 보기
- 근거 ① 터미널벤치 2.0 논문 — 정작 논문 결론은 '뼈대보다 모델'이에요 오푸스 4.5 기준 클로드 코드 52.1%(입력 2억 5,690만 개) 대 터미너스 2 57.8%(390만 개)인데, 논문 본문은 '성능을 올릴 땐 대개 뼈대 선택보다 모델 선택이 더 중요하다'고 맺고 뼈대와 모델을 떼어 재기 어렵다는 단서까지 달아 뒀어요. arXiv
- 근거 ② 데이터브릭스 — 품질은 같고 비용만 2배 넘게 갈렸대요 자사 수백만 줄 저장소의 실제 병합 이력으로 만든 과제를 팀이 쓴 테스트로 채점한 7월 8일 글이고, 비용 차이의 원인으로 '파이(pi)가 턴마다 맥락을 3분의 1만 보내 작업 범위를 좁게 유지했다'를 짚었어요. Databricks
- 근거 ③ 아티피셜 애널리시스 — 여기선 클로드 코드가 제일 싼 쪽이에요 오푸스 4.7을 medium 으로 고정한 하네스 비교에서 클로드 코드 0.424·커서 CLI 0.467·오픈코드 0.513인데 입력 토큰은 클로드 코드가 가장 적었고, 이 표의 요금은 구독가가 아니라 종량 API 정가로 계산한 값이에요. Artificial Analysis