VS Code 평가팀이 'HELLO.txt에 HELLO를 써라'가 전부인 다섯 줄 평가를 벤치마크 전 사전 점검으로 계속 돌리다 보니 여섯 달 만에 모델 30개에 5만 974번이 쌓였는데, 정작 통과 여부로는 아무것도 안 갈렸어요 — 어느 모델이든 웬만하면 통과하거든요. 갈린 건 거기까지 가는 길이라, 도구를 한 번만 불러 끝낸 비율이 통과분의 100%인 모델이 있는가 하면 0.2~6%짜리가 여덟이고 다섯은 한 번도 그 길로 안 갔으며, 출력 토큰도 현실적 최소치인 50개 언저리(55개)부터 3,676개까지 74배가 벌어졌어요. 다만 30개 모델이 전부 '모델-A~모델-AC'로 익명이라 어느 제품이 어느 쪽인지는 이 글로 못 가려요.
용어 풀이
- 도구 호출
- 모델이 파일 쓰기·명령 실행 같은 외부 기능을 한 번 불러 쓰는 요청
- 출력 토큰
- 모델이 만들어 낸 글자 단위. 대체로 요금과 응답 시간에 그대로 반영됨
- p95
- 값을 작은 순으로 줄 세웠을 때 95번째 백분위. 상위 5% 최악 구간을 보는 지표
운영자 인사이트
에이전트를 손본 뒤 통과/실패만 세면 이 데이터처럼 전부 통과로 붙어 차이가 안 보여요. 로그에 도구 호출 순서와 출력 토큰 수를 함께 남겨야 같은 결과에 든 비용이 숫자로 잡히고, 정작 이 팀도 프롬프트 한 번 고친 게 나아졌다고 말하기까지 2주짜리 실사용 대조를 돌렸어요.
여러 관점으로 보기
- 그래서 좋아졌다고 어떻게 말했나 같은 팀이 GPT-5.5 프롬프트를 고친 뒤엔 2주간 실사용 트래픽을 25%씩 세 갈래로 갈라 대조했고, 도구 호출 8.54% 감소·p95 토큰 7.64% 감소를 p값과 함께 내놨어요. VS Code Blog
- 낭비를 줄이면 얼마가 줄어드나 이틀 앞서 나온 글에선 도구를 미리 다 싣지 않고 필요할 때 찾아 쓰게 하니 중앙값 사용자의 세션 토큰이 10.92% 줄었다고 밝혔어요. VS Code Blog