젯브레인즈가 깃허브 별 9만 개를 넘긴 클로드 코드용 스킬 Ponytail을 SkillsBench에서 재봤어요. 같은 과제 80개를 스킬 없이 한 번, 켜고 한 번 돌려 짝지어 비교했더니 스킬이 내건 '코드 −54%·토큰 −22%·비용 −20%'는 실측에서 코드 −15.4%, 비용 −10.3%(p값 0.004)로 줄었고, 토큰 지표만 떼어 보면 대화 이력 다시 읽기 −8.4%·새 토큰 −3.9%로 통계적으로 의미 있는 차이가 아니었어요. 품질은 80건 중 65건이 같고 9건이 조금 나쁘고 6건이 조금 좋아 차이가 없었지만, 선택형 스킬로 두면 열 번의 세션에서 한 번도 스스로 켜지지 않아 규칙을 강제로 주입해야 측정할 수 있었어요.
용어 풀이
- SkillsBench
- 코딩 에이전트용 스킬의 효과를 같은 과제 묶음으로 비교 측정하는 벤치마크
- p값
- 측정된 차이가 우연히 나올 확률. 보통 0.05보다 작아야 의미 있는 차이로 봄
- n=4
- 같은 조건을 네 번만 반복해 측정했다는 뜻. 반복 횟수가 적으면 결과가 크게 흔들림
운영자 인사이트
'토큰 아껴 준다'는 도구는 광고 수치가 아니라 내 작업 형태에서 다시 재야 해요. 젯브레인즈가 같은 방식으로 잰 앞선 두 건은 광고 −65%가 실측 −8.5%, 광고 −60~90%가 오히려 +7.6% 증가였어요. 받아들일 기준은 세 가지예요 — ① 그 수치가 채팅 문답이 아니라 에이전트 작업에서 나왔는지, ② 표본이 몇 건인지, ③ 스킬이 실제로 켜지기는 하는지. 절감은 에이전트가 과잉 구현할 때만 커지니, 이미 군더더기 없는 코드베이스라면 기대치를 낮추는 게 맞아요.
여러 관점으로 보기
- 스킬 쪽 주장 만든 쪽은 '코드 −54%(많게는 94%)·비용 −20%·속도 −27%'를 내걸었는데, 근거는 하이쿠 4.5로 12개 과제를 n=4로 잰 값이에요. GitHub
- 같은 실험 1편 — caveman 말을 원시인처럼 줄여 쓰게 하는 스킬은 −65%를 내걸었지만 82개 과제 실측은 −8.5%였어요. JetBrains Blog
- 같은 실험 2편 — rtk 셸 출력을 압축해 준다는 rtk는 −60~90%를 내걸었지만 실측은 오히려 7.6% 더 비쌌어요. JetBrains Blog