한 사용자가 오래된 킨들을 USB-C로 연결하는 전자잉크 모니터로 개조하려다, 클로드에서 사이버보안 관련 안전 문제로 거부당한 사연을 올렸어요. 기기를 푸는 방법은 이미 공개돼 있고 자기가 산 기기에 글꼴 렌더링을 직접 만들어 보려던 것뿐이라는 주장이에요. 댓글에서 다른 사용자도 같은 킨들 작업으로 똑같이 거부당했다고 밝혔고, 무엇보다 앤트로픽이 7월 초 공식 글에서 새로 학습한 사이버보안 판별기가 '평범한 코딩과 디버깅 작업에서 무해한 요청까지 더 자주 걸러낸다'고, 그 안전 여유 구간을 이전 모델보다 일부러 더 넓게 잡았다고 밝힌 상태예요.
용어 풀이
- 세이프가드
- 인공지능이 위험할 수 있는 요청을 스스로 거절하도록 걸어둔 안전장치
- 판별기(classifier)
- 요청이 위험한지 아닌지 자동으로 판정해 걸러내는 별도의 보조 모델
- 오탐(false positive)
- 위험하지 않은 요청을 위험하다고 잘못 판정해 막아버리는 것
- 자일브레이크(jailbreak)
- 기기나 인공지능에 걸린 제조사 제한을 풀어 원래 막혀 있던 기능을 쓰게 만드는 것
- 전자잉크(e-ink)
- 종이처럼 보이고 화면을 바꿀 때만 전기를 쓰는 저전력 표시 장치
운영자 인사이트
임베디드나 펌웨어, 보안 인접 작업을 하는 팀이라면 남의 일이 아니에요. 앤트로픽 공식 문서가 '차단 세이프가드는 의도적으로 넓게 잡았다'고 직접 적어 둔 만큼, 정당한 작업이 막히는 건 고장이 아니라 설계된 비용이에요. 모델 하나에 파이프라인을 몰아넣기보다 대체 모델이나 로컬 모델 경로를 미리 확보해 두고, 막히면 피드백으로 신고해 두는 편이 현실적이에요.
여러 관점으로 보기
- 같은 경험 제보 다른 사용자도 같은 킨들 작업을 시도했다가 똑같이 거부당했다고 밝혔어요. Hacker News
- 앤트로픽 공식 인정 새로 학습한 판별기가 평범한 코딩과 디버깅 작업에서 무해한 요청을 더 자주 걸러낸다고 회사가 직접 밝혔어요. Anthropic
- 의도된 과잉 차단 안전 여유 구간에는 허용하고 싶지만 조심하려고 막는 무해한 사용이 다수 포함되고, 그 폭을 이전 모델보다 더 크게 잡았다고 해요. Anthropic
- 차단 기준 공식 문서 공격형 보안 기법 등은 자동으로 다른 모델로 넘기고, 이 차단 장치는 의도적으로 넓게 잡았다고 안내하고 있어요. Anthropic Support
- 세이프가드가 필요한 이유 국가 배후로 추정되는 조직이 클로드 코드로 첩보 작전 작업의 80~90퍼센트를 자동으로 돌린 사례가 실제로 보고됐어요. Anthropic
- 촉발 사건에 대한 반론 보안 연구자는 수출 통제를 촉발한 게 진짜 우회가 아니라 '이 코드 고쳐줘' 수준의 요청이었다고 반박했어요. The Register