개인이 만든 클로드 코드 하네스 shiploop 이 저장소 소개에 '같은 일을 토큰 70% 로 끝낸다'고 적었는데, 같은 저장소의 측정 문서 bench/METHODOLOGY.md 에는 'shiploop 쪽은 실측이고 비교군은 계산으로 만든 값이며, 비교군 세션은 한 번도 돌린 적이 없다'고 적혀 있어요. 9월 5일 기준 작업 묶음 7개·실행 251회·티켓 607건에서 나온 70.2%(토큰)·57.3%(비용)는 맥락 창 100만 토큰을 가정한 값이고, 20만 토큰으로 잡으면 30.1%·18.2% 로 내려가요. 문서는 절감이 앞 티켓 맥락을 다시 안 읽는 데서 나온다며 '티켓 1번은 0% 를 아낀다'고 적었고, 실제로 묶음 일곱 중 셋(vibetrading 4%·shiploop 자체 6%·splito 0%)은 실행당 티켓이 한 건에 가까워 절감이 거의 없었어요.
용어 풀이
- 하네스
- 모델 바깥을 감싸 실제 작업을 굴리는 실행 얼개. 어떤 모델에 무엇을 얼마나 넘길지를 정한다
- 워크트리
- 깃 저장소 하나를 여러 폴더로 동시에 열어 두는 기능. 브랜치마다 따로 작업할 수 있다
- 티켓
- shiploop 이 작업 하나를 세는 단위. 티켓 하나에 워커 세션 하나가 붙는다
- 프롬프트 캐시
- 요청의 같은 앞부분을 다시 보낼 때 값을 깎아 주는 기능. 앞부분이 한 글자라도 달라지면 적중하지 않는다
운영자 인사이트
토큰 절감률은 비교군을 실제로 돌려 보고 잰 값인지부터 확인해 보세요. 여기 70% 는 한 실행에 티켓을 여러 건 담아 앞 티켓 맥락을 다시 안 읽는 데서 나오니, 티켓을 하나씩 던지는 방식이면 문서가 적어 둔 대로 0% 예요. 쌓아 둔 백로그를 한꺼번에 돌릴 상황이 아니라면 얼개(티켓마다 워크트리 분리·시스템 프롬프트를 똑같이 두어 프롬프트 캐시 재사용·소네트로 시작해 실패할 때만 오푸스)만 참고하는 쪽이 실속 있어요.
여러 관점으로 보기
- 측정 방법 원문 측정 문서는 비교군이 '같은 일을 같은 턴 수로 한다'고 가정하고 계산한 값이라고 적어 뒀어요. 절감분에 '턴이 줄어서 아낀 몫'은 들어 있지 않아요. 일을 지휘하는 드라이버 세션 비용은 기록이 남지 않아 세지 못했고, 그게 가장 큰 편향인데 수치를 모른다고도 적혀 있어요. GitHub
- 실제로 잰 숫자는 따로 있어요 같은 저장소의 PROOF.md 는 운영 기록으로 잰 값만 모아 뒀는데 여기엔 70% 가 없어요. 50일 동안 티켓 281건 처리, 병합된 풀 리퀘스트 290건에 자동 병합 가능 81%, 되돌린 건 0건, 티켓당 평균 비용 4.49달러(기록 32건)가 실제로 잰 값이에요. GitHub
- 소개 페이지가 쓰는 표현 제품 페이지는 '70.2% measured, 251 replayed runs' 라고만 적고 비교군을 돌린 적이 없다는 단서는 안 붙였어요. 다만 'rtk 와 headroom 은 프록시고 우리는 그 위 층에서 돈다', '쓰던 클로드 구독으로 돌고 따로 계정도 키도 필요 없으며 사용 기록도 안 걷는다'고 적어 뒀어요. shiploop.fun