관측 도구 업체 시그노즈(SigNoz)가 공개 평가인 터미널벤치(Terminal-Bench)의 10개 과제로 클로드 소네트 4.6, 오퍼스 4.7, 오퍼스 4.8을 비교했어요. 가장 최신인 오퍼스 4.8은 토큰을 가장 많이(약 606만 개) 쓰고도 풀어낸 과제당 비용은 약 1.01달러로 가장 낮아, 소네트(약 1.26달러)보다 20%가량 저렴했어요. 토큰이 늘어난 건 대부분 단가가 가장 싼 '캐시 읽기'였고, 정답률도 10개 중 8개로 가장 높았기 때문이라고 해요.
용어 풀이
- 토큰
- AI 모델이 글을 잘게 쪼개 처리하는 최소 단위. 사용량과 비용을 재는 기준이 된다.
- 캐시 읽기
- 앞서 보낸 내용을 다시 계산하지 않고 저장해 둔 것을 불러오는 방식. 여러 토큰 종류 중 단가가 가장 싸다.
- 터미널벤치
- 명령줄(터미널) 환경에서 AI 에이전트의 실제 작업 수행 능력을 자동 채점하는 공개 평가.
운영자 인사이트
토큰 총량만 보고 모델 비용을 가늠하면 오해하기 쉬워요. 캐시 읽기처럼 단가가 다른 토큰은 종류별로 나눠 보고, '해결한 작업당 비용'으로 환산해야 실제 지출에 가까워져요. 다만 과제가 10개뿐이고 한 번씩만 돌린 결과라 큰 추세의 참고용으로만 보고, 본인 작업에선 직접 측정해 보는 게 안전해요.
여러 관점으로 보기
- 원 분석 오퍼스 4.8은 토큰을 가장 많이 쓰고도 과제당 비용은 가장 낮았고, 오류율도 1.72%에서 0.85%로 절반으로 줄었어요. SigNoz
- 방법론(벤치마크) 비교에 쓴 터미널벤치는 스탠퍼드·로드 연구소가 만든 공개 평가로, 컨테이너 환경에서 통과·실패를 자동 채점해요. Terminal-Bench