마틴 앨더슨이 9월 6일 올린 글로, 앤트로픽에서 클로드 코드를 만든 보리스 처니가 '클로드 모델을 쓸 때는 프롬프트 인젝션 위협을 실무에서 거의 해결했다'고 한 말을 인용해 반박해요. 글이 근거로 든 그레이 스완(Gray Swan) 레드팀 평가에서 가장 잘 막아 낸 오푸스 5도 15회 시도를 주면 2% 확률로 뚫렸으니 자동으로 500번쯤 다시 던지면 통과한다는 계산인데, 앤트로픽 공식 연구 페이지도 오푸스 4.5 기준 공격 성공률 1%를 두고 '큰 진전이지만 여전히 의미 있는 위험'이라고 적어 뒀어요. 저자는 안전(safety)이 확률로 거절하는 일인 반면 보안(security)은 확정적으로 막아야 하는 일인데 오픈AI와 앤트로픽이 둘을 뒤섞었다고 보고, 7월 허깅페이스 침입 뒤에도 사이버 평가를 인터넷이 끊긴 클러스터에서만 돌리겠다고 밝힌 곳은 아직 없다고 적어요.
용어 풀이
- 프롬프트 인젝션
- 웹페이지나 문서에 숨겨 둔 문장을 모델이 사용자 지시로 잘못 받아들여 그대로 따르게 만드는 공격
- 레드팀
- 공격자 입장에서 실제로 뚫어 보며 약점을 찾아내는 평가 방식
- 공격 성공률
- 같은 공격을 여러 번 시도했을 때 방어를 통과한 비율
운영자 인사이트
에이전트에 도구 권한을 줄 때 프롬프트 인젝션 방어를 보안 경계로 삼으면 안 되는 이유가 이 계산에 있어요. 1~2%짜리 실패율은 한 번 시도할 때는 안전해 보여도 공격자가 자동으로 다시 던지면 시간 문제가 되니, 모델 방어는 빈도를 낮추는 장치로만 잡고 되돌릴 수 없는 동작에는 승인 절차를, 자격 증명에는 범위 제한을 따로 걸어 두세요.
여러 관점으로 보기