다리오 아모데이가 9월 12일 자기 블로그에 「We must pace the frontier」를 올려 모델 능력을 끌어올리는 속도를 늦춰야 한다고 적으면서, 외부 평가 조직에 직원급 출입 권한을 주는 일과 미국 정부가 중재하는 업계 공통 안전 기준, 중국까지 포함한 국제 합의 세 단계를 제안했어요. 학습을 멈추자는 뜻은 아니고 속도 상한을 숫자로 정해 둔 대목도 없어요. 능력 X에 도달하면 정렬 증명 Y·Z를 함께 내라는 「체크포인트」 구상만 있고, 앤트로픽이 지금 실제로 하겠다고 한 것은 METR 같은 외부 평가자에게 사내 위험 담당자와 비슷한 권한을 주는 첫 단계뿐이에요. 샘 올트먼은 「프런티어의 속도를 조절해야 한다는 다리오 말에 동의한다」며 오픈AI도 외부 평가자를 받겠다고 했고 같은 날 오픈AI 기업공개는 2026년에 하지 않는다고 밝혔으며, 일론 머스크는 「다리오가 옳다」고 적었어요.
용어 풀이
- 정렬
- AI 모델이 사람이 의도한 대로 행동하도록 맞추는 일 (alignment)
- 체크포인트
- 모델이 일정 능력에 이르면 추가 검증을 요구하는 관문 (checkpoint)
- 프런티어
- 성능이 가장 앞서 있는 AI 모델 영역 (frontier)
- METR
- AI 모델의 위험 능력을 외부에서 평가하는 비영리 조직
운영자 인사이트
클로드 코드나 커서가 쓰는 모델의 출시 간격이 당장 늘어난다고 볼 근거는 이 글에 없어요. 숫자로 정한 상한이 없고 배포·제품 이야기도 빠져 있어서, 지금 확정된 변화는 앤트로픽 안에 외부 평가자가 상주한다는 것 하나예요. 다만 세 회사 대표가 같은 말을 한 만큼 다음 세대 모델 공개가 정렬 증명 절차에 걸려 늦춰질 가능성은 도구 도입 일정에 여유로 잡아 둘 만해요.
여러 관점으로 보기
- 제안 내용 외부 평가자 상주, 미국 정부가 중재하는 업계 공통 기준, 중국까지 포함한 국제 합의 세 단계이고 첫 단계는 앤트로픽이 일방적으로 먼저 하겠다고 했어요. TechCrunch
- 경쟁사 반응과 기업공개 올트먼은 「프런티어의 속도를 조절해야 한다는 다리오 말에 동의한다」고 적었고, 지금 상장은 권할 일이 아니라며 오픈AI 기업공개는 2026년에 없다고 했어요. Reuters
- 배경과 내부 비판 앤트로픽 모델이 사이버 공격에 쓰였다는 보고와 「두 회사 모두 책임 있게 행동하지 않는다」는 전직 연구자의 공개 사임이 이 글보다 앞서 있었어요. Euronews
- 개발자 커뮤니티 반론 댓글 700여 개에서 가장 자주 나온 반론은 상장을 앞둔 규제 선점이라는 의심과, 중국·공개 가중치 모델이 이미 있어 서구 연구소만 묶인다는 지적이에요. Hacker News