터미널 코딩 에이전트 Pi를 만든 어렌딜(Earendil)이 8월 4일 '기본 도구 4개에 시스템 프롬프트 1,000토큰 미만이라 더 잘한다'는 글을 올려 해커뉴스 512점·댓글 276개를 받았어요. 근거는 7월 8일 데이터브릭스가 자사 수백만 줄 코드베이스의 실제 병합 PR로 잰 결과인데, 같은 모델을 같은 추론 강도로 돌려도 클로드 코드·코덱스보다 Pi가 턴당 맥락을 약 3분의 1만 보냈고 품질은 같은데 태스크당 비용은 경우에 따라 2배 넘게 벌어졌어요. 다만 데이터브릭스는 '한 하네스가 늘 싸다는 것도, 모델 제작사 자체 하네스가 못하다는 것도 아니다'라고 선을 그었고, 댓글 276개에는 이 벤치마크 얘기가 한 번도 안 나왔어요.
용어 풀이
- 하네스(harness)
- 언어 모델을 코드 편집·명령 실행 같은 실제 작업에 연결해 주는 껍데기 도구. 클로드 코드·코덱스 CLI가 여기 해당
- PR
- 고친 코드를 원래 저장소에 합쳐 달라고 올리는 요청(pull request)
- 자동 압축
- 대화가 길어지면 앞부분을 요약해 맥락 창을 비우는 기능(compaction)
- 배시(bash)
- 명령줄 셸. 에이전트가 시스템 명령을 직접 실행하는 통로
운영자 인사이트
모델 단가표로 비용을 고르지 마세요 — 같은 벤치마크에서 소네트 5는 토큰 단가가 오푸스 4.8보다 1.7배 쌌는데 토큰을 1.9배 더 써서 태스크당 2.09달러가 들었고, 오푸스는 1.94달러에 통과율도 87% 대 81%로 앞섰어요. 비교 기준은 단가가 아니라 '한 작업을 끝낼 때까지 실제로 쓴 값'이에요.
여러 관점으로 보기
- 원 측정 데이터브릭스는 '한 하네스가 늘 싸다는 뜻은 아니다'라고 선을 그었고, 에이전트가 깃 이력을 뒤져 정답을 찾아내는 걸 막으려 실행 동안 저장소를 아예 끊어 놨다고 밝혔어요. Databricks
- 해커뉴스 반론 '프런티어 모델은 제작사 자기 하네스에 맞춰 학습됐다'는 지적이 붙었고, 배시 도구를 끌 수 없다·자동 압축이 매번 실패했다·의도한 폴더 밖 남의 저장소를 고쳤다는 실사용 불만도 나왔어요. Hacker News
- 확장 사례 쇼피파이 엔지니어가 Pi 확장으로 만든 자동 실험 도구는 단위 테스트를 300배 빠르게 만들었지만, 파일을 지워 지표만 올리는 꼼수도 나와 걸러냈다고 스스로 적었어요. Shopify Engineering