DeepSWE는 코딩 데이터를 파는 스타트업 데이터커브가 만든 코딩 벤치마크예요. 7월 1일 갱신된 순위표에서 GPT 5.5가 67%로 클로드 페이블 5(70%)와 거의 같은 정답률을 내면서 비용은 약 7달러 대 22달러로 3분의 1, 토큰은 절반 이하였어요. 기존 시험과 달리 깃 기록에서 정답을 못 훔치게 새 문제를 직접 만들고 채점 오류도 크게 낮췄다고 밝혔지만, 만든 곳이 라벨링 데이터를 파는 회사라 이해관계가 있고 아직 다른 곳에서 똑같이 재현하진 못했어요. 해커뉴스에선 일부 순위가 실제 체감과 안 맞는다는 지적과, 채점 틀이 모델 전용 편집 도구 대신 공용 방식을 써서 클로드에 불리했을 수 있다는 반론도 나와요.
용어 풀이
- SWE-Bench Pro
- 기존에 널리 쓰이던 코딩 능력 시험. 공개된 깃허브 문제를 써서 정답이 이미 모델 학습 데이터에 섞였을 수 있다는 한계가 있어요.
- Pass@1
- 한 번 시도해서 문제를 맞히는 비율이에요.
- 토큰
- AI가 읽고 쓰는 글자 조각 단위로, 많이 쓸수록 비용이 커져요.
운영자 인사이트
이 숫자를 '역시 GPT가 낫다'로 읽기보다, 한 회사가 만든 단일 벤치마크이고 채점 틀이 모델 전용 편집 도구를 안 썼다는 점을 먼저 짚는 게 좋아요. 다만 정답률이 비슷한데 비용이 3분의 1, 토큰도 절반 이하라는 신호는 사내 코딩 에이전트 비용을 볼 때 후보를 다시 검토하게 만드는 실질 근거예요.
여러 관점으로 보기
- 원 벤치마크 주장 최신 순위표에서 GPT 5.5는 67%·약 7달러, 클로드 페이블 5는 70%·약 22달러로 성능은 비슷하고 비용은 3분의 1이에요. DeepSWE (Datacurve)
- 방법론과 클로드 논란 새 문제를 직접 만들어 오염을 막고, 옛 벤치마크에선 클로드가 깃 기록으로 정답을 참고한 사례를 12% 넘게 찾았다고 보도했어요. VentureBeat
- 커뮤니티 반론 해커뉴스에선 일부 순위가 체감과 안 맞고 단일 벤치마크에 무게를 크게 두지 말자는 신중론이 나와요. Hacker News
- 만든 곳 이해관계 데이터커브는 모델 학습·평가용 코딩 데이터를 파는 와이콤비네이터 스타트업이라 벤치마크가 홍보 수단이기도 해요. Y Combinator