쿠에스마의 바르토시 코트리스가 클로드 코드 한 곳 안에서 페이블 5는 지휘, 하이쿠 4.5는 정찰, 오푸스 5는 실행, 소네트 5는 검증으로 나눠 맡기고 터미널벤치 2.1(과제 89개, 과제당 5회, 총 445회)을 1,178달러 들여 돌린 결과 78%를 받았어요. 같은 판 1위인 한 모델짜리 클로드 코드(페이블 5)가 83.8%에 552달러였으니 점수는 5.8점 낮고 값은 두 배가 넘어요. 어긋난 곳은 넷인데, ① 보안 과제 셋은 넘겨서 시키면 '오푸스 5로는 이 메시지에 답할 수 없다'며 14번 다 거절했지만 사람이 직접 물으면 6번 다 풀렸고(이것만 없었으면 80.5%로 3위) ② 검증을 선택으로 둔 탓에 지휘 모델이 76%만 불렀는데 부른 쪽 91%·건너뛴 쪽 43%였고 ③ 제일 비싼 오푸스 5가 실행을 맡아 비용의 58%를 먹은 반면 제일 싼 하이쿠 4.5 정찰은 2%만 쓰고 성공률을 1점 올렸고 ④ 인수인계가 3~5번이면 90%에 2.41달러였는데 여섯 번을 넘자 50%에 9.51달러였어요.
용어 풀이
- 터미널벤치 2.1
- 에이전트를 격리된 명령줄에 넣고 실제 과제 89개를 풀리며 성공률과 비용을 재는 공개 시험. 현재 제출 대상 판
- 인수인계
- 한 에이전트가 하던 일을 다른 에이전트에게 넘겨 이어 하게 하는 것(hand-off)
운영자 인사이트
모델을 역할별로 쪼개 붙이는 건 지금 여기서도 많이 시도하는 구성인데, 깨진 자리가 모델이 아니라 엮은 방식이었다는 게 이 실험의 값이에요 — 검증을 '해도 되고 말아도 되는' 선택으로 두면 안 부르고, 넘기는 횟수에 상한이 없으면 값이 네 배로 뛰고, 사람이 직접 하면 되던 보안 작업이 넘겨서 시키는 순간 막혀요. 검증 강제, 넘김 횟수 상한, 보안·취약점 작업은 사람이 직접 거는 경로로 빼 두기부터 챙기는 게 순서예요.
여러 관점으로 보기
- 같은 판 공식 성적표 터미널벤치 2.1 리더보드에서 1위는 한 모델로 돌린 클로드 코드(페이블 5) 83.8%·552.67달러고 3위가 80.4%라, '78%면 7위, 거절만 없었으면 80.5%로 3위'라는 글의 셈이 실제 순위와 맞아요. Terminal-Bench
- 글쓴이 회사가 파는 것 쿠에스마는 클로드 코드·코덱스·커서 세션을 훑어 헛돈과 모델 등급 오배치를 짚어 준다는 분석 도구를 파는 회사라, 이 글이 짚은 '비싼 모델을 실행에 앉힘'·'넘김이 잦아 값이 뜀'은 그 제품의 판매 문구와 겹쳐요. Quesma