AI 코드 리뷰 회사 코드래빗이 9월 22일 클로드 오푸스 5.5 를 자사 리뷰 엔진에 넣고, 공개 저장소 PR 에서 뽑은 결함 80건과 더 어려운 13건으로 지금 운영 중인 모델 조합과 견줬어요. 80건에서는 기존 조합 49건 대 오푸스 5.5 기본 설정 51건으로 총점이 거의 같았는데, 그 안을 열어 보면 기존이 놓친 11건을 새로 잡고 기존이 잡던 9건을 새로 놓쳐서 비슷한 점수가 다른 결함 묶음으로 채워졌어요. 어려운 13건은 5건에서 8건(추론을 더 쓰는 설정은 10건)으로 뚜렷이 올랐지만 공개 저장소 쪽 지적 정확도는 39.3%에서 38.6%로 조금 떨어졌고 토큰은 49~58% 더 썼는데, 기준이 된 기존 조합이 어떤 모델인지와 채점을 누가 했는지는 이번 글에 적히지 않았어요.
용어 풀이
- PR
- 풀 리퀘스트. 고친 코드를 원래 저장소에 합쳐 달라고 올리는 요청이자 리뷰가 붙는 단위.
- API
- 프로그램이 다른 프로그램의 기능을 불러 쓰는 창구. 여기서는 앤트로픽이 토큰 단위로 요금을 매기는 모델 호출 경로.
운영자 인사이트
총점이 비슷해도 잡는 결함이 바뀌면 지금 리뷰를 통과하던 종류가 새로 걸리고, 걸리던 종류는 빠져요. 갈아타기 전에 최근 머지한 PR 몇 건을 양쪽 설정으로 다시 돌려 우리 코드베이스에서 무엇이 바뀌는지부터 보세요. 비용도 앤트로픽 API 단가는 20% 내렸지만 토큰을 49~58% 더 쓰니, 캐시 읽기 비중이 낮은 팀은 오히려 더 나올 수 있어요.
여러 관점으로 보기
- 같은 시험의 지난 회차 같은 회사가 7월 24일 오푸스 5 를 쟀을 때는 결함 약 100건에서 55.2% 로 기존 조합(61.1%)보다 낮았고 그때는 기준선을 GPT-5.6 계열이라고 적었는데, 이번 글은 기준선 구성을 밝히지 않고 시험 묶음도 달라서 두 회차를 그대로 잇지 말라고 스스로 단서를 달았어요. CodeRabbit
- 값 확인 앤트로픽 가격표에서 오푸스 5.5 는 100만 토큰당 입력 4달러·출력 20달러로 오푸스 5(5달러·25달러)보다 20% 싸고 캐시 읽기는 0.5달러에서 0.2달러로 60% 내려가, 코드래빗이 적은 인하 폭과 맞아떨어져요. Anthropic