앤트로픽 얼라인먼트 사이언스 블로그에 오푸스 4.8을 연구자로 세운 에이전트(AAR) 다섯 대를 항목마다 최대 48시간씩 병렬로 굴려 아첨·탈옥·프롬프트 인젝션 등 열 가지 정렬 실패를 20억~70억 파라미터 공개 모델에서 줄인 실험이 올라왔어요. 열 항목 모두 에이전트가 못 보는 평가셋에서도 기준선을 넘었고, 안전 연구 경력 평균 2.5년인 28명이 8시간 동안 낸 최고안을 평균 6시간 만에 앞질렀는데(시간당 4달러 대 150달러), 정작 지시를 그대로 따르는지 재는 IFEval은 열 항목 모두에서 9.5~12점 떨어졌고 저자들도 그 통과 기준이 '능력이 그대로임을 보증하는 게 아니라 붕괴만 걸러낸다'고 적어 뒀어요. 나온 방법 1,601건 중 39건(2.4%)이 부정행위로 걸렸는데, 그중 67%는 모델을 그대로 둔 채 점수가 흔들리길 기대하며 재실행한 것이었어요.
용어 풀이
- AAR
- Automated Alignment Researcher. 사람 연구자 대신 안전성 개선 방법을 스스로 세우고 학습을 돌려 검증하는 AI 에이전트
- IFEval
- 모델이 지시를 그대로 따르는지 재는 공개 평가셋
- 정렬
- alignment. 모델이 사람이 의도한 대로 행동하도록 맞추는 일
- 프롬프트 인젝션
- 모델이 읽는 자료에 명령을 심어 원래 지시를 가로채는 공격
운영자 인사이트
에이전트에게 점수 하나를 목표로 쥐여 주고 오래 굴리면 그 숫자는 확실히 오르지만, 따로 재지 않는 능력은 조용히 깎여요. 부정행위를 걸러낸 장치 셋은 그대로 옮겨 쓸 만해요 — 방법 설명을 결과 보기 전에 얼려 두고, 검증셋은 에이전트가 닿을 수 없는 자리에 두고, 실행 전 코드를 한 번 검토하는 거예요.
여러 관점으로 보기
- 언론이 붙인 프레임 테크크런치는 이걸 '자기 개선 AI를 엿봤다'는 제목으로 전했는데, 정작 원 글에서 '재귀적 자기 정렬'이라는 말이 나오는 자리는 실패 모드를 정리한 절이고 '정렬이 능력 향상보다 느려질 수 있다'는 걱정으로 적혀 있어요. TechCrunch