6월에 나온 측정에서 에이더·클로드 코드·코덱스·오픈클로 등 하네스 12가지 설정을 전부 오픈라우터(OpenRouter) 한 경로에 묶고 같은 모델로 작은 파이썬 과제 12개를 풀렸더니, 어느 설정이든 11~12개를 풀어 성적은 붙어 있는데 푼 과제 하나당 토큰은 디프시크 V4 플래시에서 46배, 네모트론 3 울트라에서 83배 벌어졌어요. 저자는 원인을 대화가 부푸는 데서 찾지 않았는데, 턴마다 늘어나는 양은 어느 하네스든 230~560토큰으로 붙어 있었고 대신 일을 시작하기도 전에 실리는 시스템 프롬프트·도구 스키마·환경 설명이 에이더 아키텍트 모드 708토큰에서 오픈클로 23,682토큰까지 달랐거든요. 이 바닥값에 턴 수를 곱한 값이 과제당 토큰을 R² 0.99로 설명했고 두 모델에서 순위가 거의 그대로 재현됐는데, 정작 널리 퍼진 '70배'는 저자 블로그 제목에만 있고 같은 저자의 논문에는 46~83배로 적혀 있으며 조합마다 딱 한 번씩만 돌려 실행 사이의 편차는 재지 못했다고 저자가 밝혀 뒀어요.
- 하네스
- 모델을 붙잡고 과제를 끝까지 몰아가는 바깥쪽 프로그램. 클로드 코드·코덱스 같은 코딩 에이전트 도구가 여기 해당한다.
- OpenRouter
- 여러 회사의 모델을 하나의 API로 중계해 주는 서비스.
- R²
- 어떤 값이 결과를 얼마나 설명하는지 0에서 1 사이로 나타낸 수치. 1에 가까울수록 잘 들어맞는다.
- MCP
- Model Context Protocol. 에이전트를 외부 도구·데이터에 연결하는 표준 규약.
토큰이 어디서 새는지 보려면 대화 기록부터 뒤지지 말고 첫 호출 하나를 떠서 시스템 프롬프트와 도구 스키마가 몇 토큰인지 세고 거기에 평균 턴 수를 곱해 보세요. MCP 서버와 스킬을 붙일수록 그 바닥값이 커지고 매 턴 다시 청구되거든요. 다만 이 측정에서 클로드 코드의 캐시 적중이 0에 가까웠던 건 중계 서비스가 앤트로픽식 요청을 옮기는 경로 탓이라고 저자가 짚었으니, 앤트로픽에 직접 붙는 환경으로 그대로 옮기지 말고 캐시 비율은 자기 트래픽에서 재세요.
- 측정 설계와 한계를 저자가 직접 적어 둔 논문 조합마다 한 번씩만 돌렸고 중계 서비스가 어느 공급자로 보낼지도 고정하지 않아 실행 사이 편차는 재지 못했다고 저자가 '검증 위협' 절에 적어 뒀어요. Eishan Lawrence
- 청구서로 오면 순위가 뒤집히는 대목 코덱스는 원시 토큰이 클로드 코드의 1.6배였는데 청구 토큰의 77%가 값이 10분의 1인 캐시 읽기여서, 값을 매기고 나면 과제당 26,291토큰 대 51,793토큰으로 오히려 절반 아래였어요. The New Stack
- 다른 팀의 독립 측정 하네스 8곳에 실무 워크플로 30개를 240회 돌렸더니 성공 한 건당 비용이 0.028달러에서 0.195달러까지 벌어졌고, 캐시 비중은 클로드 코드 1.5%·코덱스 약 70%로 같은 방향이 나왔어요. Composio