앤트로픽 연구진이 지푸(Z.ai)의 GLM-5.3 을 시험하니 ExploitBench 410회 시도 중 50회에서 끝까지 작동하는 익스플로잇을 만들었고, 같은 시험에서 클로드 미토스 프리뷰는 56회였어요. 공격 지시에 응한 비율은 속이는 프롬프트로 64%, 사고 토큰을 미리 채우면 92%였고, 앤트로픽이 약 4,400달러(GPU 2,200시간)를 들여 거절 기능을 지운 사본은 100%였어요. 브라우저 자바스크립트 엔진에서 새 취약점 여러 개를 찾아 엮은 익스플로잇도 만들었는데(유지보수 측에 신고했고 엔진 이름은 밝히지 않았어요), 미국 표준기술연구소 산하 CAISI 도 9월 17일 이 모델을 지금까지 나온 가중치 공개 모델 중 사이버 능력이 가장 높다고 평가하면서 미국 최상위 모델보다는 종합 약 4개월 뒤처진다고 봤어요.
용어 풀이
- 익스플로잇
- 취약점을 실제로 악용해 공격을 성공시키는 코드
- ExploitBench
- AI 모델이 익스플로잇을 스스로 만들어 내는지 재는 평가 과제 모음
- CAISI
- 미국 표준기술연구소(NIST) 산하 AI 표준·혁신 센터
- 사고 토큰
- 모델이 답하기 전에 내부적으로 풀어 쓰는 추론 문장
운영자 인사이트
가중치가 8월 28일 풀려 거절 없는 사본을 누구나 돌릴 수 있으니, 공격자도 이 정도 익스플로잇 도구를 쓴다고 가정하고 외부 노출 서비스 점검과 패치 주기를 앞당기는 편이 안전해요. 해커뉴스 댓글 179개에서는 상장을 앞둔 앤트로픽이 가중치 공개 모델 규제 여론을 만든다는 비판과, 클로드가 방어용 분석까지 거절해 GLM 을 쓴다는 경험담이 많았어요.
여러 관점으로 보기
- 미국 정부 평가 CAISI 는 9월 17일 GLM-5.3 이 SEC-Bench Pro 40.4%(미국 최상위 모델 90.2%)·ExploitBench 61.1% 를 받았고, 지금까지 나온 가중치 공개 모델 중 사이버 능력이 가장 높다고 적었어요. NIST
- 개발자 반응 상장을 앞두고 가중치 공개 모델 규제 명분을 쌓는다는 비판, 오히려 GLM 광고가 됐다는 반응, 클로드가 로그·악성코드 분석을 거절해 공개 모델을 쓴다는 방어 실무자의 경험담이 함께 올라왔어요. Hacker News