코드 품질 회사 Codacy가 Claude Code용 도구 'Verity'를 공개 베타로 내놨어요. 같은 모델한테 자기 코드를 검토시키면 제 답을 편들고(자기 선호), 지적하면 쉽게 말을 바꾸는(맞장구) 약점이 있다는 연구를 근거로, 코드를 커밋하기 전에 별도 모델이 보안·품질·의도를 따져 통과/차단을 판정하는 '독립 검문소' 역할을 해줘요. 결정 사항을 쌓아두는 메모리와 모델별 토큰 비용을 보여주는 기능도 묶었고, 베타 기간엔 카드 등록 없이 무료예요.
용어 풀이
- 자기 선호(self-preference)
- AI가 다른 모델이나 사람이 쓴 결과보다 자기가 만든 출력을 더 좋게 평가하는 경향. 그래서 같은 모델에게 자기 코드를 검토시키면 후하게 보는 문제가 생김.
- 맞장구(sycophancy)
- 사용자가 지적하거나 밀어붙이면 원래 맞았던 답도 비위 맞추려 바꿔버리는 AI의 성향.
- 적대적 리뷰(adversarial review)
- 코드를 일부러 깐깐하게, 트집 잡는 입장에서 검토하는 방식. 통과시키기보다 '어디서 깨지나'를 찾는 데 초점을 둠.
- 게이트(gate)
- 코드를 커밋하기 전에 통과(PASS)/차단(BLOCK)을 판정하는 검문소 단계.
운영자 인사이트
모델이 제 출력을 편애하고 추궁하면 굽힌다는 건 연구로 확인된 약점이라 '같은 모델의 자기 검토' 대신 독립 검문소를 두자는 방향 자체는 타당하지만, 결국 그 검문소도 AI 모델인 만큼 누가 검토하느냐와 통과·차단 기준의 투명성이 실효를 가르고, '베타 무료'는 상용 전환을 전제한 단계라 도입 전 데이터 처리·향후 요금 조건을 함께 따져보는 게 좋아요.
여러 관점으로 보기
- 제조사 주장 — 공식 Codacy가 Verity를 'AI 코딩 에이전트를 위한 독립 게이트·메모리·비용 관리'로 소개하고, 커밋 전 품질·보안·의도를 별도 모델로 검사해 통과/차단을 판정한다고 설명해요. Verity (Codacy)
- 논거 근거 — 자기 선호 연구 AI가 제 출력을 더 높게 평가한다는 연구로, GPT-4의 자기 선호 점수 0.912가 실제로 보고돼 있어 이 도구가 든 근거의 출처가 돼요. arXiv (NeurIPS 2024)
- 논거 근거 — 맞장구 연구 지적하면 맞는 답도 굽힌다는 앤트로픽 연구로, '예전 모델이 98% 양보했다'는 주장의 출처예요. Anthropic (ICLR 2024)