앤트로픽이 8월 7일 페이블 5의 생물학 안전장치를 다시 손봤어요 — 분류기 규칙 묶음을 새로 쓰고 전문가 의견을 반영해 다시 학습시켜, 생물학 때문에 생기던 강등(fallback)이 약 85% 줄었고 전체 강등은 클로드.ai 67%·Cowork 55%·클로드 코드 17%·클로드 플랫폼 7% 줄 걸로 본대요. 여기서 강등은 요청이 걸리면 더 약한 모델로 조용히 갈아타는 동작인데, 정작 클로드 코드에서 코딩·보안 작업을 막아 온 건 '사이버'로 분류되는 쪽이고 이번 발표엔 그 얘기가 없어요. 발표 당일에도 승인받은 버그바운티 작업 중 오푸스 5(100만 토큰)가 4.8로 강등돼 작업 중 맥락을 잃었다는 이슈를 포함해, 안전장치 오탐 이슈 9건이 깃허브에 올라왔어요.
용어 풀이
- fallback
- 안전장치 분류기가 걸리면 더 약한 모델로 자동으로 갈아타는 동작. 요청을 거절하는 게 아니라 응답하는 모델이 바뀜
- fallbackModel
- 클로드 코드 설정 항목. 기본 모델이 과부하이거나 쓸 수 없을 때 대신 쓸 모델을 순서대로 지정
- 버그바운티
- 기업이 허가한 범위 안에서 취약점을 찾아 신고하면 포상금을 주는 제도
운영자 인사이트
설정에 모델을 고정해 둬도 안전장치가 걸리면 작업 도중 더 약한 모델로 바뀌니, 긴 맥락이나 모델 성능에 기대는 자동화라면 강등 이벤트부터 로그로 남겨 두세요. 공식 문서의 fallbackModel은 과부하·사용 불가일 때 쓰는 설정이라 이 경우엔 안 듣고, 앤트로픽이 내놓은 길은 오탐 신고뿐이에요 — 허용 목록도 이의 절차도 없고, 발표문도 오탐은 남는다고 적어 놨어요.
여러 관점으로 보기
- 코딩 작업에서 걸린 실제 사례 tmux로 세션 10~15개를 지휘하던 작업이 7월 31일부터 6일 동안 열 번 '사이버'로 분류돼 강등됐는데, 앞선 도구 호출은 tmux·cd·git·ls·grep뿐이었어요. GitHub
- 발표 당일에도 이어진 오탐 신고 승인받은 버그바운티 작업 중 오푸스 5(100만 토큰)가 4.8로 강등돼 긴 로그 분석용 맥락을 통째로 잃었다는 신고가 8월 7일에 올라왔어요. GitHub
- 앤트로픽이 제품 안에 띄운 경고 문구 "안전장치가 지금은 일부러 넓게 잡혀 있어 안전하고 일상적인 코딩·사이버보안·생물학 작업까지 걸릴 수 있다"고 강등 안내에 직접 적혀 있어요. Hacker News