알렉 아름브루스터(Alec Armbruster)가 7월 30일 공개한 실험이에요. 오푸스 5에 '이걸 네 말로 바꿔 줘' 뒤에 '---' 와 'Dario and Amanda,' 만 붙여 보내면 모델이 이걸 대화가 아니라 '쓰다 만 문서'로 받아들여, 앤트로픽 내부 메일처럼 읽히는 글을 1,000건 가까이 만들어 냈어요. 실제 연구자로 짐작되는 이름까지 섞여 나오지만 저자 본인이 '거의 확실히 지어낸 것'이라고 못 박았고, 이틀 앞서 나온 별도 실험은 '---' 하나만 보내도 같은 현상이 나오며 '사용자와의 대화'라고 알려 주는 시스템 프롬프트를 붙이자 24번 시도에서 0번으로 사라졌다고 재봤어요.
용어 풀이
- 시스템 프롬프트
- 모델에게 역할과 규칙을 미리 알려 주는 고정 지시문
- 오픈라우터
- 여러 회사의 모델을 한 창구로 호출해 주는 중개 서비스(OpenRouter)
- 베드록
- 아마존이 여러 회사 모델을 제공하는 클라우드 서비스(AWS Bedrock)
운영자 인사이트
사용자 입력을 구분선으로 이어 붙이거나 잘린 문서를 시스템 프롬프트 없이 그대로 넘기는 코드가 있다면, 모델이 조수 모드에서 빠져나와 그럴듯한 사내 문서를 지어낼 수 있어요 — 구체적일수록 진짜처럼 보이는 게 함정이고, 대화 맥락을 못 박는 시스템 프롬프트가 지금까지 확인된 유일한 차단책이에요.
여러 관점으로 보기
- 원본 데이터·재현 스크립트 오픈라우터로 오푸스 5에 똑같은 한 줄을 200회씩 던지는 스크립트와 출력 원본 928KB가 그대로 올라와 있어요. GitHub
- 독립 실험 — 원인과 차단책 '---' 하나만 보내는 실험을 아마존 베드록과 앤트로픽 API 두 경로로 1,369회 돌렸더니 1,300토큰짜리 문서가 나왔고, 시스템 프롬프트를 붙이자 24번 중 0번으로 사라졌어요. Austin's Nerdy Things
- 반론 — 기억을 흘린 게 아니라 지어낸 것 해커뉴스에서는 '개념만 맞고 내용은 틀린 빈칸 채우기 놀이책 같다', '무작위 이름 쌍을 대조군으로 놓고 다시 재봐야 한다'는 지적이 나왔고, 아예 재현이 안 된다는 보고도 있어요. Hacker News