앤트로픽이 자사 모델 출력으로 남의 모델을 학습시키는 증류를 막겠다며 내놓은 대응 문서에, API 트래픽에서 증류 공격 패턴을 찾는 분류기와 행동 지문 시스템을 여러 벌 만들어 뒀다고 적혀 있어요. 여기서 찾는다고 밝힌 신호가 '추론 학습 데이터를 만들려는 사고 사슬 유도'와 '다수 계정에 걸친 공조 활동'이고, 가짜 계정을 만드는 데 가장 많이 악용된 통로라며 교육용 계정·보안 연구 프로그램·스타트업 조직의 인증을 강화했다고 밝혔어요. 근거로 든 규모는 딥시크·문샷·미니맥스 세 곳이 가짜 계정 약 2만 4천 개로 1,600만 건 넘는 대화를 받아 갔다는 앤트로픽 자체 집계예요.
용어 풀이
- 증류(distillation)
- 큰 모델의 출력을 받아 작은 모델을 학습시켜 그 능력을 베껴 오는 기법
- 행동 지문(behavioral fingerprinting)
- 이용 패턴의 특징을 모아 여러 계정이 같은 주체의 것인지 가려내는 기법
- 사고 사슬(chain of thought)
- 모델이 답을 내기 전에 거치는 추론 과정을 글로 풀어 놓은 것
운영자 인사이트
앤트로픽이 찾는다고 밝힌 두 신호는 정상 작업과 겉모습이 갈리지 않아요. 모델의 추론 과정 출력을 대량으로 모으는 평가·합성 데이터 작업이 첫 번째와 겹치고, 계정을 여러 개 묶어 쓰는 사내 게이트웨이가 두 번째와 겹쳐요. 게다가 인증을 조였다고 지목한 셋이 교육·보안 연구·스타트업 프로그램이라, 그 통로로 받은 계정에 운영 트래픽을 태우고 있다면 오판됐을 때 밟을 절차가 같은 문서에 한 줄도 없다는 점을 감안해 두는 게 좋겠어요.
여러 관점으로 보기
- 공식 대응 문서 — 무엇을 보고 잡는가 API 트래픽에서 증류 공격 패턴을 찾는 분류기와 행동 지문 시스템을 만들었고, 가짜 계정 통로로 지목한 교육·보안 연구·스타트업 계정의 인증을 강화했다고 적어 뒀어요. Anthropic
- 그래서 API 쪽에 실제로 붙은 것 같은 문서가 '개발 중'이라던 API·모델 차원 안전장치가 페이블 5.1 에서 나왔는데, 앞으로 나올 모델부터는 모든 이용자에게 적용된다고 적혀 있어요. Anthropic
- 반론 — 증류로는 설명이 안 된다 문샷의 Kimi K3 가 앤트로픽 모델을 증류해 만들어졌다는 백악관 쪽 주장에 대해, 공개 2주 만에 그만한 데이터를 받아 학습까지 끝낼 수는 없다고 연구자 두 명이 반박했어요. TechCrunch