9월 9일 제이컵 콕슨(Jacob Coxon)이 사임 글 일곱 편을 X에 올려 '두 회사 다 책임 있게 행동하지 않고, 자기 개선 초지능으로 곧장 달리며 우리 목숨을 걸고 도박하고 있다'고 적었어요. 그는 정렬 담당이 아니라 사전학습 연구자였고, 오픈AI에서 기술 스태프로 일하다 올해 초 앤트로픽으로 옮겼다가 업계를 아예 떠났어요. 매체 제목에 붙은 '10% 넘는 확률'은 콕슨 발언이 아니라 앤트로픽에 남아 있는 정렬 책임자 에번 허빙어(Evan Hubinger)가 '제이컵 말이 맞고, 나는 10년 안에 10%가 넘는다고 본다. 앤트로픽은 최선을 다하지만 초지능 정렬을 풀 계획은 아직 없고 그 궤도에 있지도 않다'고 답한 데서 나왔고, 회사 차원의 입장은 나오지 않았어요.
용어 풀이
- 사전학습
- 모델을 대규모 데이터로 처음부터 학습시키는 단계. 이후의 미세조정·정렬 작업과는 구분되는 영역이다.
- 정렬
- 모델이 사람이 의도한 목표에서 벗어나지 않도록 맞추는 연구 분야. 영어로는 alignment.
운영자 인사이트
사임한 사람은 안전 조직 바깥의 사전학습 연구자라 내부 감사 결과를 들고 나온 게 아니에요. 실무에 남는 사실은, 재직 중인 정렬 책임자가 '초지능 정렬 계획이 아직 없다'고 공개로 적었는데 회사 차원의 답은 나오지 않았다는 점이에요. 모델 공급사 한 곳에 워크플로를 묶어 둔 팀이라면 성능 지표 옆에 이런 조직 신호도 공급사 위험으로 적어 두는 편이 나아요.
여러 관점으로 보기
- 본인 주장 콕슨은 선도 기업들에 자기 개선을 가속하지 말라고 요청하면서, 통제를 벗어나는 상황은 먼 걱정이 아니라 기본 경로라고 말했어요. TIME
- 앤트로픽 내부 반응 앤트로픽에 재직 중인 정렬 책임자 에번 허빙어가 10년 안에 인류 절멸 확률이 10%를 넘는다고 본다며 콕슨 말이 맞다고 공개로 밝혔어요. Newsweek
- 요구 사항 확인 사임 글은 일곱 편이고, 콕슨은 미국 연구소끼리 속도를 맞추는 합의와 모델 능력 향상의 한시 중단을 제안했어요. Deadline
- 커뮤니티 반응 해커뉴스 댓글 956개는 갈렸고, 절멸 위험을 진지하게 보는 쪽과 상장을 앞둔 연출로 의심하는 쪽이 함께 나왔어요. Hacker News