앤트로픽이 클로드 코드 시스템 프롬프트를 80% 넘게 걷어낸 데 이어, 안티그마가 '작은 모델에서도 통하는지'를 직접 실험했어요. 자체 코딩 에이전트의 시스템 프롬프트를 약 5,000자에서 2,300자로 줄이고 오픈 웨이트 소형 모델 딥시크 V4 플래시로 터미널벤치 2.1 전체 89개 과제를 A/B 로 견줬더니, 통과 과제는 51개에서 53개(평균 점수 0.573→0.596), 에이전트 오류는 11건으로 똑같았고, 성패가 뒤바뀌지 않은 69개 과제의 입력 토큰 중앙값은 50만 9천에서 34만 6천으로 32% 줄었어요. 다만 모델 하나·벤치마크 하나·과제당 한 번 시도뿐이라 점수 차이는 오차 범위(±5점) 안이고, 글쓴이도 기본값을 바꾸기 전엔 여러 번 돌려봐야 한다고 단서를 달았어요.
용어 풀이
- 시스템 프롬프트
- 사용자 질문 앞에 늘 따라붙는, 인공지능의 역할과 규칙을 정해 두는 고정 지시문
- 토큰
- 인공지능이 글을 잘라 세는 단위. 사용량과 요금을 매기는 기준
- 오픈 웨이트
- 모델 내부 수치를 공개해 누구나 내려받아 자기 서버에서 돌릴 수 있는 방식
- 터미널벤치 2.1
- 명령줄 환경에서 코딩·보안·데이터 처리 등 89가지 실무 과제를 시켜 보는 성능 시험
운영자 인사이트
지침 파일(CLAUDE.md·AGENTS.md)이 계속 불어나는 팀이라면, 모델을 새로 올릴 때 문장을 더 붙이기 전에 걷어내는 쪽을 먼저 시도해 볼 근거가 하나 생겼어요. 특히 비용 때문에 소형·오픈 웨이트 모델을 쓰고 있다면 입력 토큰 32% 절감이 요금과 응답 지연에 바로 반영되고요. 다만 실험 하나일 뿐이고 해커뉴스에는 '더 작게 양자화한 모델에선 안 통하더라'는 반론도 달렸으니, 절반으로 줄인 지침 파일을 하나 만들어 두고 자기 저장소·자기 과제로 며칠 견줘 보는 게 가장 빠른 확인이에요.
여러 관점으로 보기
- 원문 실험 짧은 프롬프트로 바꿔도 소형 모델의 터미널벤치 통과 과제는 51개에서 53개로 오히려 늘고, 입력 토큰만 32% 줄었어요. Antigma Blog
- 앤트로픽 공식 근거 앤트로픽은 클로드 코드 시스템 프롬프트를 80% 넘게 덜어내고 CLAUDE.md 도 가볍게, 자세한 지침은 스킬로 나눠 두라고 권했어요. Anthropic (Claude Blog)
- 반론 직접 만든 에이전트를 올라마로 돌려 본 개발자는 더 작게 양자화한 모델에선 짧은 프롬프트가 안 통할 거라고 반박했어요. Hacker News
- 실험에 쓰인 모델 딥시크 V4 플래시는 4월에 나온 MIT 허가 오픈 웨이트 모델로, 전체 2840억·활성 130억 매개변수에 입력 100만 토큰당 0.14달러예요. Artificial Analysis