SWE-rebench 를 이끈 네비우스 연구 엔지니어 이브라김 바데르트디노프가 실무에서 뽑은 10과제를 설정마다 3번씩 돌린 표를 9월 28일 갱신했어요. 클로드 코드(high)에서 소넷 5.5 는 과제당 0.15달러·52초, 오푸스 5.5 는 0.35달러·1분 47초였고 둘 다 30번 모두 통과했어요. 다만 GPT-6 솔(medium)을 포함해 9개 설정이 만점이라 이 과제 묶음으로는 상위 모델의 실력 차이가 드러나지 않고, 소넷 5 가 83.3% 에 그친 것만 갈렸어요. 별도로 한 개발자가 같은 요구서로 SaaS 5개를 만들게 한 저장소에서는 소넷 5.5 가 250점 중 244점, GPT-6 솔이 206점이었지만 채점 기준은 공개되지 않았어요.
용어 풀이
- SWE-rebench
- 실제 깃허브 이슈로 코딩 에이전트를 평가하는 공개 벤치마크
- SaaS
- 웹에서 구독형으로 제공하는 소프트웨어
- 하네스
- 모델에 도구와 작업 절차를 붙여 에이전트로 돌리는 실행 틀
- README
- 저장소 첫 화면에 놓이는 설명 문서
운영자 인사이트
표본이 과제 10개와 개인 채점 수준이라 모델 순위로 읽기보다는, 만점 구간에서 비용과 시간이 두세 배 벌어진다는 신호로 보세요. 평소 오푸스로 돌리던 정형 작업을 소넷 5.5 로 바꿔 자기 저장소에서 같은 과제를 몇 번 돌려 보고 통과율과 비용을 직접 비교하는 편이 안전해요.
여러 관점으로 보기
- 하네스별 차이 같은 소넷 5.5 도 Pi 하네스에서는 과제당 0.10달러·토큰 4만 5천 개였고 클로드 코드에서는 0.15달러·19만 6천 개를 썼어요. ibragim.dev
- 소넷 5.5 SaaS 5종 빌드 클로드 코드(effort high)로 React·Vue·Svelte·Angular·SolidJS 앱 5개를 각각 4.2~5.9분에 만들고 합계 244/250점을 받았다고 적었지만, 누가 어떤 기준으로 채점했는지는 README 에 없어요. GitHub
- GPT-6 솔 SaaS 5종 빌드 코덱스(reasoning high)로 같은 요구서 5개를 7.6~13.1분에 만들고 합계 206/250점이었으며, 코드를 손대지 않고 올렸다고 밝혔어요. GitHub