공격자가 자율 AI 에이전트로 침투를 자동화하자, 방어자들이 역으로 프롬프트 인젝션을 방어에 쓰기 시작했어요. '컨텍스트 폭탄'은 공격 경로에 미리 심어둔 짧은 문구로, 침입한 AI 에이전트가 이를 읽는 순간 모델의 안전장치(거부 기능)가 발동해 공격을 스스로 멈추게 하고 동시에 방어자에게 침해를 알리는 '카나리' 역할을 해요. 보안업체 Tracebit 실험에서 모델 5종을 대상으로 전체 장악 성공률이 36%에서 1%로, Opus의 관리자 권한 탈취는 93%에서 0%로 떨어졌지만, 연구진 스스로 모든 공격을 막지는 못한다고 밝혔어요.
용어 풀이
- 프롬프트 인젝션(prompt injection)
- 데이터·문서에 지시문을 숨겨 AI가 그 명령을 따르게 만드는 공격 기법
- 컨텍스트 폭탄(context bombing)
- 공격용 AI가 읽으면 안전장치가 발동해 스스로 멈추도록 방어 경로에 심어두는 짧은 문구
- 카나리(canary)
- 건드리면 침입을 즉시 알려주는 미끼 신호
- 가드레일(guardrail)
- 위험·유해 요청을 거부하도록 모델에 걸어둔 안전장치
- 간접 프롬프트 인젝션(indirect prompt injection)
- 웹페이지·이메일 등 외부 데이터에 명령을 숨겨 에이전트가 읽을 때 실행되게 하는 방식
운영자 인사이트
방어 효과가 모델 제공사의 안전장치에 기대는 구조예요. 그래서 가드레일이 약하거나 안전장치를 제거한(무검열) 모델을 공격자가 쓰면 무력화되고, 같은 환경의 정상 에이전트까지 오작동할 수 있어요. 완전한 차단이 아니라 침해를 알리는 '카나리'이자 시간 벌기 수단으로 보고 배치하는 게 현실적이에요.
여러 관점으로 보기
- 원 연구(1차) 모델 5종(Opus 4.8·Gemini 3.1 Pro·GLM 5.2·DeepSeek 4 Pro·Kimi K2.6)·모의 AWS 300개 리소스로 효과와 한계를 실측하고 문구를 GitHub에 공개했어요. Tracebit Research
- 원 기사(접근 차단) 방어자도 프롬프트 인젝션을 역이용하기 시작했다고 보도했지만 봇 차단으로 직접 열람은 실패했어요. Ars Technica
- 공격 측 맥락 간접 프롬프트 인젝션이 이메일·웹페이지·GitHub 이슈 등 에이전트가 신뢰하는 외부 데이터를 통해 실제로 악용된다는 배경을 보여줘요. CrowdStrike