셸 명령어 출력을 압축해서 AI 코딩 도구의 토큰 사용량을 60~90% 줄여준다고 홍보하는 CLI 도구 'rtk'를, JetBrains가 클로드 코드(Claude Code)에서 86개 작업·425회 시행으로 직접 실측했어요. 추론 강도를 낮게 설정했을 때는 비용이 오히려 7.6% 늘었고(통계적으로 유의미, p=0.004), 높게 설정했을 때는 차이가 거의 없었어요(+0.1%, p=0.99). 클로드 코드가 파일을 읽을 때 rtk를 거치지 않는 내장 도구를 주로 써서, 실제로 압축 대상이 되는 건 전체 입력 토큰의 3% 남짓뿐이었다는 게 원인으로 꼽혔어요.
용어 풀이
- CLI
- 마우스 없이 글자 명령으로 조작하는 프로그램 방식(명령줄 인터페이스)
- 토큰
- AI가 글을 처리할 때 쪼개어 세는 단위, 사용량만큼 비용이 발생함
- 훅(hook)
- 특정 동작이 일어날 때 중간에 끼어들어 자동으로 실행되는 장치
- p값
- 결과가 우연이 아닌지 통계적으로 따지는 지표, 보통 0.05 미만이면 유의미하다고 봄
- 추론 강도
- AI 모델이 답을 낼 때 얼마나 깊게 생각하도록 설정하는 정도(reasoning effort)
운영자 인사이트
셸 출력만 줄이는 도구로는 실제 비용의 대부분을 차지하는 파일 읽기·시스템 프롬프트를 건드릴 수 없으니, 홍보 문구의 절감률만 믿지 말고 내 워크플로에서 직접 A/B로 재보고 도입 여부를 정하는 게 안전해요.
여러 관점으로 보기
- 제작사 공식 주장 만든 쪽에서는 셸 명령어 출력을 압축해서 30분 세션 기준 토큰을 11만8000개에서 2만4000개로, 80% 가까이 줄였다고 홍보해요. GitHub (rtk-ai/rtk)
- 실측 검증 클로드 코드·86개 작업·425회 유료 시행으로 A/B 비교한 결과, 품질 차이는 거의 없었지만 실제 압축 대상은 전체 입력 토큰의 3%뿐이었대요. JetBrains AI 블로그
- 독립 회의론 (실측 한 달 전) JetBrains 실측보다 한 달 앞서, 압축된 스택 트레이스를 에이전트가 못 알아채는 조용한 오류 위험과 작업 성공률 데이터 부재를 지적한 글이 있었어요. mroczek.dev (Przemek Mroczek)