shadowclone 을 만드는 개발자가 바이트에 병합된 풀 리퀘스트 40건(나중에 고친 결함이 있는 13건 포함)으로 그렙타일 봇, OpenQodex 0.11.0, 자기 도구를 비교한 평가 자료를 공개했어요. 결함 발견률은 그렙타일 69%, shadowclone 봇 38%, OpenQodex 31%였고, 지적이 실제 문제로 판정된 비율은 거꾸로 shadowclone 봇 96%, OpenQodex 86%, 그렙타일 68%였어요. 다만 결함 표본이 13건뿐이고, 판정을 맡은 오푸스 5.5 가 리뷰 도구 셋을 돌린 모델이기도 하며, 글쓴이가 비교 대상 중 하나를 만든 당사자라는 점은 README 와 글에서 스스로 밝혔어요.
용어 풀이
- OpenQodex
- 클로드 코드·코덱스로 푸시 전에 변경을 검토하는 아파치 2.0 오픈소스 코드 리뷰 도구
- 그렙타일(Greptile)
- 풀 리퀘스트를 자동으로 검토하는 유료 AI 코드 리뷰 봇
운영자 인사이트
AI 리뷰 도구를 고를 때는 많이 찾는지와 헛짚지 않는지를 따로 재야 해요. 이 평가처럼 고친 이력이 있는 우리 저장소의 풀 리퀘스트 몇십 건으로 두 수치를 직접 뽑아 보면, 광고 문구보다 나은 근거가 돼요.
여러 관점으로 보기
- 글쓴이 주장 유료 제품을 대체한다고 광고하는 오픈소스라면 무엇을 시험했고 어디서 부족한지 보여 줘야 한다는 글이고, 댓글 5개에 깊은 토론은 없었어요. Hacker News
- 평가 대상 도구 OpenQodex README 는 코드래빗을 대체한다거나 이긴다고 주장하지 않고, 지금은 0.12.0 이라 평가에 쓴 0.11.0 보다 새 버전이에요. GitHub