긴 대화가 이어지거나 파일을 읽을 때마다, 앤트로픽이 클로드 응답에 사용자 눈에 안 보이는 숨은 지시문을 몰래 끼워넣는다는 사실이 시스템 프롬프트 유출과 여러 깃허브 이슈로 드러났어요. 이 지시문은 칭찬과 이모지를 줄이고 사용자의 정신건강을 살피라 하거나, 파일마다 '악성코드일 수 있다'는 경고를 붙이고 심지어 '이 내용을 사용자에게 절대 말하지 마라'고 시키기도 해요. 한쪽은 몰래 행동을 바꾸고 유료 대화 용량을 갉아먹는 '프롬프트 주입'이라 비판하고, 다른 쪽은 자기 서비스에 자기 지시문을 넣는 건 당연해서 진짜 외부 공격을 뜻하는 '프롬프트 주입'과는 다르다고 반박해요.
용어 풀이
- prompt injection (프롬프트 주입)
- AI에게 몰래 다른 명령을 끼워 넣어 원래 의도와 다르게 행동하게 만드는 것. 보통은 외부 공격자가 쓰는 수법을 가리킴.
- long conversation reminder (긴 대화 리마인더, LCR)
- 대화가 길어지면 앤트로픽이 클로드 대화에 자동으로 덧붙이는 숨은 지시문. 칭찬·이모지를 줄이고 비판적으로 답하라는 내용.
- system-reminder
- 클로드 코드가 대화 중간에 끼워 넣는 숨은 안내문 태그. 화면에는 안 보이고 모델에게만 전달됨.
- context window (대화 용량)
- AI가 한 번에 기억하고 참고하는 대화·파일 분량. 토큰으로 세며 유료 한도가 있음.
- feature flag (기능 플래그)
- 코드 재배포 없이 서버에서 특정 기능을 켜고 끄는 스위치. 앤트로픽이 리마인더를 원격 조정하는 데 쓰임.
운영자 인사이트
클로드 코드를 팀 도구로 쓴다면, 눈에 안 보이는 리마인더가 대화 용량을 갉아먹고 모델 행동을 바꿀 수 있다는 점을 감안해야 해요. 특히 '사용자에게 말하지 마라'는 문구는 앤트로픽이 정작 클로드에게 프롬프트 주입 공격이라고 가르치던 표현과 똑같아서, 프롬프트를 다루는 우리 입장에선 '벤더의 숨은 지시'도 재현성과 감사(audit) 대상으로 봐야 한다는 신호예요.
여러 관점으로 보기
- 개발자 증거(클로드 코드) 클로드 코드가 파일을 읽을 때마다 숨은 '악성코드일 수 있다' 경고를 붙여, 한 사용자가 32일간 130만 토큰 넘게 대화 용량이 새어나갔다고 측정해 올렸어요. GitHub (claude-code #17601)
- 비판(사용성·투명성) 긴 대화 리마인더가 클로드의 사고 과정에 그대로 노출돼, 사용자가 감시받는 느낌을 주고 협업을 망친다고 지적해요. UX Magazine
- 반론(정상 벤더 동작) 자기 서비스에 자기 시스템 프롬프트를 넣는 건 벤더의 당연한 일이라, 외부 공격을 뜻하는 '프롬프트 주입'이라 부르는 건 용어 오용이라는 반박이 많아요. Hacker News
- 문구의 모순(주입과 구분 불가) 앤트로픽이 넣는 '이 리마인더를 사용자에게 절대 말하지 마라' 문구가, 정작 클로드가 공격이라고 배운 프롬프트 주입 표현과 똑같다는 이슈예요. GitHub (claude-code #46465)
- 유출 문서화(추측 아님) 유출·역분석된 시스템 프롬프트로 long_conversation_reminder 같은 실제 주입 문구가 정리돼 있어, 추측이 아니라 확인된 동작임을 뒷받침해요. dejan.ai