1Password 의 오프바이원 랩스(Off-by-1 Labs)가 8월 6일 낸 FLAWED 보고서는 GPT-5.5 와 클로드 오푸스 4.8 에 CVE 6건의 패치 6,080개를 만들게 한 뒤 동작을 바꾸지 않은 완전한 수정은 26% 뿐이라고 적었고, 공개된 하네스 저장소는 클로드·코덱스·제미나이 CLI 를 같은 입력으로 돌리는 구조예요. 트레일오브비츠는 9월 15일 글에서 프롬프트 9종 가운데 2종(전체 데이터의 22%)이 에이전트에게 틀린 수정을 적용하라고 지시했고, 시험의 36% 는 빌드와 테스트를 금지했으며, GPT-5.5 는 medium 이고 오푸스 4.8 은 high 로 추론 강도가 달랐고, 모델이 자기 패치를 채점한 결과가 사람 검토와 65.9% 만 일치하며 두 모델이 같은 패치의 36.8% 에 서로 다른 판정을 냈다고 지적했어요. 틀린 지시와 테스트 금지 조건을 뺀 시험만 다시 세면 패치 3,067개 가운데 2,634개(86%)가 주어진 익스플로잇을 막았다는 게 트레일오브비츠의 재집계인데, 익스플로잇을 막은 것이 완전한 수정을 뜻하지는 않는다는 단서를 스스로 달았고 1Password 쪽 공개 답변은 아직 확인되지 않았어요.
- CVE
- 공개된 보안 취약점마다 붙는 고유 번호
- CLI
- 터미널에서 명령어로 쓰는 프로그램 형태
- 익스플로잇
- 취약점을 실제로 찔러 보는 공격 코드
AI 패치 벤치마크 수치를 인용하기 전에 에이전트가 빌드·테스트를 할 수 있었는지, 프롬프트가 수정 방향을 잘못 주지 않았는지, 채점이 사람 검토인지 모델 자체 채점인지 세 가지를 먼저 확인하세요. 같은 데이터가 이 조건에 따라 26% 와 86% 로 갈리고, 트레일오브비츠 자체 자료에서도 사람의 첫 수정 12.5% 가 문제를 다 못 고쳤으니 에이전트 패치는 사람 기준선과 나란히 두고 익스플로잇 차단 뒤 다른 경로와 회귀까지 검증하는 절차를 붙이는 게 실무 기준이에요.
- 반박 원문 트레일오브비츠 네 명의 저자가 1Password 데이터를 다시 세어 틀린 지시·테스트 금지 조건을 빼면 86% 가 익스플로잇을 막았다고 적었고, 사람 개발자의 첫 수정도 12.5% 는 불완전했다는 자체 자료를 기준선으로 내놨어요. Trail of Bits
- 1Password 원 보고서 8월 6일 글은 GPT-5.5 와 오푸스 4.8 이 만든 패치 6,080개를 다섯 가지 결과로 나눠 완전한 수정 26.0%, 동작을 바꾼 수정 20.1%, 실패 또는 새 취약점 53.9% 라고 적었고, 패치당 비용은 GPT-5.5 2.11달러, 오푸스 4.8 2.81달러였어요. 1Password
- 하네스 저장소 공개된 FLAWED 저장소는 클로드·코덱스·제미나이 CLI 를 같은 입력으로 돌리고 패치를 다른 모델이 다시 채점하는 구조라고 README 에 적혀 있어요. GitHub
- 해커뉴스 반응 댓글 10개 중에는 두 채점 모델이 같은 패치의 37% 에 다른 판정을 냈다면 방법론이 아니라 동전 던지기라는 지적과, 사람과 에이전트가 같은 실수를 했다면 모델 결함이 아니라 문제 난도라는 의견이 있었어요. Hacker News