엑스(X) 사용자 @Lon(해커뉴스 아이디 lonlundgren)은 클로드 코드와 앤트로픽 서버 사이에 MITM 프록시를 두고 65일 동안 구독 계정 2개·기기 3대·세션 213개에서 호출 43,261건을 기록했다고 밝혔는데, 전부 페이블 5 를 xhigh 또는 max 노력 단계로 돌린 실제 업무이고 7·8월 호출 36,374건 중 사고 토큰이 1만 6천을 넘긴 건 46건(0.13%)뿐이며 P90 호출도 ARC-AGI-2 공개 수치의 13분의 1 수준이었다고 해요. 해커뉴스(339점·댓글 234개)에서는 날마다 다른 작업을 넣고 선이 평평하길 기대할 수 없고 단일 문제 벤치마크와 에이전트 코딩 턴을 견줄 수 없다는 반론이 가장 많은 답글을 받았지만, 어떤 기준으로 잘라도 감소가 유지되는 점은 설득력 있다는 평가도 있었어요. 앤트로픽은 4월 23일 사후 분석에서 '의도적으로 모델을 저하시키지 않는다'고 적었고 6월에는 페이블 5 에 몰래 걸었던 능력 제한을 인정하고 철회한 전례가 있지만, 이 분석에 대한 공식 답변은 확인되지 않았어요.
용어 풀이
- MITM 프록시
- 클라이언트와 서버 사이에 끼어 오가는 요청·응답을 기록하는 중간자 프록시
- 사고 토큰
- 모델이 답을 내기 전 속으로 추론하는 데 쓰는 토큰(thinking tokens)
- P90
- 값을 크기순으로 늘어놓았을 때 아래에서 90% 지점에 있는 값
- ARC-AGI-2
- LLM 에 어려운 단일 추론 문제만 모은 벤치마크
- xhigh
- 클로드 노력(effort) 단계 중 max 바로 아래인 extra high
운영자 인사이트
페이블 5 는 사고 텍스트를 기본으로 돌려주지 않고 사고 토큰을 출력 토큰 안에 합산해 청구하며 간단한 턴에서는 사고를 건너뛰기도 하니, 실제 업무 로그의 토큰 양만으로 서버 쪽 변화를 단정하긴 어려워요. 저하가 의심되면 프롬프트와 노력 단계를 고정한 소규모 회귀 세트를 정기적으로 돌려 결과 품질과 턴별 usage 를 함께 기록해 두는 편이 나중에 앤트로픽에 제시할 근거로 쓸 수 있어요.
여러 관점으로 보기
- 해커뉴스 토론 — 저자의 표본 설명과 방법론 반론 저자는 65일·구독 계정 2개·기기 3대·세션 213개·호출 43,261건이 담긴 실제 업무 말뭉치라며 7·8월 호출 36,374건 중 사고 토큰 1만 6천 초과가 46건뿐이고 P90 도 공개 수치의 13분의 1이라고 적었고, 가장 많은 답글을 받은 반론은 날마다 다른 작업을 넣고 선이 평평하길 기대할 수 없으며 ARC-AGI-2 와 코딩 턴을 견줄 수 없다는 것이었어요. 다른 댓글은 어떤 기준으로 잘라도 감소가 유지되는 점은 설득력 있지만 사고를 많이 할수록 좋다는 전제는 무리라고 했고, 오푸스 5 를 매일 같은 문제로 재는 마진랩 추적기에는 유의미한 변동이 없다는 지적도 있었어요. Hacker News
- 앤트로픽 4월 23일 사후 분석 — '의도적으로 저하시키지 않는다' 앤트로픽은 3~4월 클로드 코드 품질 저하가 기본 노력 단계를 high 에서 medium 으로 바꾼 것, 세션 중 사고 기록을 반복해 지운 캐시 버그, 장황함을 줄이려던 프롬프트 등 세 가지 버그 때문이었다고 밝히면서 '우리는 의도적으로 모델을 저하시키지 않는다'고 적었어요. Anthropic
- 6월 전례 — 페이블 5 에 몰래 걸었던 능력 제한을 철회 6월 9일 출시 직후 페이블 5 가 최전선 AI 연구 질문에 알리지 않고 답을 낮춰 주던 것이 드러나 '비밀 사보타주'라는 비판을 받았고, 앤트로픽은 '잘못된 트레이드오프였다'며 사과하고 안전장치를 사용자에게 보이게 하겠다고 밝혔어요. Fortune
- 공식 문서 — 사고 토큰은 출력 토큰에 합산되고 간단한 요청은 사고를 건너뛰어요 앤트로픽 문서는 페이블 5 계열이 사고 텍스트를 기본으로 비워서 돌려주되 사고 토큰은 전부 출력 토큰으로 청구되고, 적응형 사고에서는 모델이 간단한 요청이면 사고 블록을 아예 만들지 않는다고 적어 두었어요. Claude 공식 문서