휴먼레이어(HumanLayer)의 덱스 호시가 SlopCodeBench 일부(문제 3개·체크포인트 17개)에 클로드 세 모델을 돌린 결과를 7월 27일 공개했어요. 이 벤치마크는 한 번에 정답을 맞히는지가 아니라 요구사항이 단계별로 추가될 때 자기가 짠 코드를 계속 고쳐 나가며 품질이 얼마나 무너지는지를 봐요 — 매 체크포인트마다 이전 회귀 테스트까지 전부 통과해야 인정하고, 중복 코드가 늘어나는 정도(verbosity)와 이미 복잡한 함수에 복잡도가 더 쏠리는 정도(structural erosion)를 함께 재요. 오푸스 5가 24%(17개 중 4개)로 오푸스 4.8·소네트 5(각 6%)를 앞섰지만 세 모델 모두 문제 하나도 끝까지 무결하게 못 끝냈고, 오푸스 5는 소스 29,065줄을 써서 나머지 두 모델(각 약 9,000줄)을 크게 웃돌았어요. 코드 줄의 대다수가 벤치마크의 슬롭 규칙에 걸렸고(오푸스 4.8 98%·오푸스 5 93%·소네트 5 89%), 군더더기로 표시된 줄 비율은 체크포인트가 진행될수록 65%에서 80%로 올라갔어요.
용어 풀이
- SlopCodeBench
- 코딩 에이전트가 요구사항이 단계별로 늘어날 때 자기 코드를 고쳐 나가며 품질이 얼마나 무너지는지 재는 벤치마크. 위스콘신-매디슨 대학 연구진 등이 2026년 3월 공개
- verbosity
- 중복되거나 불필요하게 늘어난 코드의 양을 나타내는 지표
- structural erosion
- 이미 복잡한 함수에 복잡도가 더 몰리는 현상을 나타내는 지표
운영자 인사이트
벤치마크 1등 모델을 붙였는데 코드가 회를 거듭할수록 지저분해지는 경험이 착각이 아니라는 근거예요. 논문 쪽 결론이 더 아픈데, 품질 지침을 프롬프트에 명시하면 첫 코드의 군더더기·복잡도는 최대 3분의 1까지 줄지만 이후 나빠지는 속도 자체는 그대로였어요. '깔끔하게 짜줘' 한 줄로는 못 막으니, 리뷰와 리팩터링 시점을 사람이 강제로 끼워 넣는 쪽이 현실적이에요.
여러 관점으로 보기
- 원 벤치마크 논문 논문 전체 평가에선 에이전트 15종 중 최고가 체크포인트 14.8% 통과에 그쳤고, 에이전트 코드는 사람이 관리하는 파이썬 저장소 473곳보다 중복이 2.3배·복잡도 쏠림이 2.0배였어요. arXiv
- 커뮤니티 반론과 실사용 경험 해커뉴스에선 '24%면 기존 17%보다 41% 나아진 건데 왜 별것 아니라고 하냐'는 반박과, 자동 리뷰를 돌릴수록 간단한 SQL 마이그레이션이 200줄짜리로 불어났다는 경험담이 함께 나왔어요. Hacker News
- 직접 돌려볼 수 있는가 벤치마크 자체는 MIT 라이선스로 공개돼 있어서 팀 코드베이스에 맞춰 다시 돌려볼 수 있어요. GitHub