벨기에 반도체 연구소 imec 의 벤치마크 조직 aistack 이 9월에 낸 측정인데, 하네스는 클로드 코드·코덱스·Pi 지만 물린 모델은 자체 H200 서버에 올린 오픈 웨이트 두 종(Qwen3.8-27B, GLM-5.3-Flash)이라 앤트로픽·오픈AI 모델로 잰 값이 아니에요. SWE-Bench Pro 에서 고른 과제 64개 정답은 28~33건(44~52%)으로 하네스끼리 1~3건 차이였고, 비용이 벌어진 건 GLM-5.3-Flash 를 물렸을 때뿐이라 코덱스가 1.26시간·입력 1억 9,214만 토큰으로 끝낸 일을 클로드 코드는 2.48시간·4억 8,023만 토큰으로 끝냈는데, Qwen3.8-27B 에서는 세 하네스가 9.40~10.26달러로 거의 같았고 정답도 클로드 코드가 33건으로 가장 많았어요. 45달러와 22.8달러는 토큰 단가나 구독료가 아니고 GPU 시간당 대여료(H200 4장 기준 18.16달러)에 실행 시간을 곱한 값이라 실행 시간 비율 그대로이고, 글에는 신뢰구간도 유의성 검정도 없고 코드·원자료도 공개되지 않았어요.
용어 풀이
- 하네스
- 모델을 감싸 도구 호출·맥락 관리·반복 실행을 맡는 실행 껍데기. 클로드 코드·코덱스 같은 CLI 가 여기 해당
- SWE-Bench Pro
- 공개 저장소의 실제 이슈를 코드로 고치게 하고 테스트 통과 여부로 채점하는 평가 묶음
- 프리픽스 캐시
- 요청 앞부분이 이전과 같으면 그때 계산해 둔 내부 상태를 다시 써서 처리를 건너뛰는 방식. 앞부분이 한 글자라도 달라지면 뒤를 전부 다시 계산
- H200
- 엔비디아의 데이터센터용 GPU. 여기서는 시간당 대여료를 비용 계산의 단위로 씀
운영자 인사이트
이 45달러와 22.8달러는 GPU 를 혼자 빌려 쓴 시간값이라 API·구독으로 쓰는 팀에 그대로 옮겨지지 않아요. 옮겨지는 쪽은 같은 모델에서도 하네스에 따라 입력 토큰이 2.5배까지 차이 났다는 사실이라, 자체 서버를 운영한다면 정답률 옆에 입력 토큰량과 프리픽스 캐시 적중률을 함께 재 두는 편이 좋아요.
여러 관점으로 보기