코드래빗이 9월 28일 소넷 5.5 를 자사 리뷰 엔진에 넣어 공개 저장소에서 뽑은 어려운 결함 13건(Signal)으로 재 보니, 적응형 사고를 켠 설정이 6건을 잡아 소넷 5 의 4건보다 많았고 지적 정확도는 41.2%(소넷 5 는 40.0%)였어요. 같은 13건에서 9월에 잰 오푸스 5.5 는 기본 설정 8건·정확도 66.7%, 최대 설정 10건이라 소넷 5.5 가 여전히 아래인데, 이 오푸스 수치는 이번에 함께 돌린 값이 아니라 지난 글의 값을 옮겨 온 거예요. 9월 23일에 소개한 '결함 80건 중 49건에서 51건' 묶음은 이번에 결함 85건·PR 44개로 바뀌었고 채점이 끝나지 않아 잡은 수 없이 평균 시간(13분 31초에서 6분 33초)과 리뷰당 비용(1.16달러에서 0.46달러)만 실렸어요.
용어 풀이
- PR
- 풀 리퀘스트. 코드 변경을 합치기 전에 검토를 요청하는 단위.
운영자 인사이트
적발 수 차이는 13건 중 2건이고 설정마다 한 번씩만 돌린 결과라 코드래빗도 표본이 작다고 적었어요. 소넷 5 에서 옮기는 경우 시간과 비용이 절반 아래로 준 것은 두 묶음에서 모두 확인되지만, 오푸스 5.5 에서 비용 때문에 내리려면 어려운 결함 적발과 지적 정확도가 함께 떨어질 수 있으니 최근 머지한 PR 몇 건을 두 모델로 다시 돌려 비교해 보세요.
여러 관점으로 보기
- 같은 13건의 오푸스 5.5 측정 코드래빗이 9월 22일 같은 13건에서 잰 값은 운영 중인 기존 조합 5건, 오푸스 5.5 기본 설정 8건, 최대 설정 10건이었고, 결함 80건 묶음에서는 49건 대 51건이었어요. CodeRabbit