호주 AI 코드 보안 스타트업 댐 시큐어(Dam Secure)가 접근 권한 관련 취약점을 하나씩 심어둔 코드 변경 10건에 AI 모델 10종을 붙여 취약점 탐지력을 겨룬 결과를 공개했어요. GPT-5.6 솔(Sol)이 하나도 놓치지 않고(재현율 100%) 건당 0.70달러로 1위, 그록 4.5는 건당 0.20달러로 가장 저렴했고, 앤트로픽은 클로드 소넷 4.6이 오탐이 가장 적었지만 간판 모델 오퍼스 4.8은 40%를 놓쳐(재현율 60%) 8위에 그쳐 비용·품질 최전선에 한 종도 들지 못했어요. 다만 표본이 10건·취약점 한 종류(접근 권한)뿐이고 스캐너를 파는 업체가 자사 블로그와 해커뉴스에 직접 올린 실험이라 순위 일반화는 조심해야 해요.
용어 풀이
- PR
- 코드 변경을 검토하고 합쳐달라고 올리는 요청 단위 (pull request)
- IDOR
- 주소창 등의 식별자를 바꿔 남의 데이터에 권한 없이 접근하는 취약점
- 재현율(recall)
- 실제 취약점 가운데 모델이 놓치지 않고 찾아낸 비율
- 정밀도(precision)
- 모델이 취약점이라 지목한 것 중 진짜 취약점이었던 비율
- F1
- 재현율과 정밀도를 하나로 묶어 나타낸 종합 점수
- CVE
- 공개된 보안 취약점마다 붙는 공식 식별 번호
운영자 인사이트
AI로 코드 보안 리뷰를 자동화하려면 모델 선택이 결과를 크게 좌우한다는 신호예요 — 같은 도구에 모델만 바꿔도 취약점 탐지율이 44~100%로 벌어졌어요. 다만 이번은 접근 권한 취약점 10건짜리 업체 자체 벤치라, 순위를 그대로 믿기보다 우리 코드베이스와 실제 취약점 유형으로 재현율·오탐을 직접 재보고 고르는 게 안전해요.
여러 관점으로 보기
- 원문 벤치마크 접근 권한 취약점 10건에 모델 10종을 붙여 재현율·정밀도·F1·비용을 잰 표를 공개했어요. Dam Secure 블로그
- 해커뉴스 반응 8점에 댓글 1개인데 그마저 창업자 본인이 요지를 옮긴 글이라, 아직 제3자 반론이나 독립 검증은 없어요. Hacker News
- 업체 배경·편향 점검 댐 시큐어는 AI 코드 보안 스캐너를 파는 시드 단계 스타트업이라 자체 벤치의 홍보 성격을 감안해야 해요. Startup Daily