오픈AI가 GPT-6 애스트라를 내놓은 지 사흘 만인 9월 6일, 수석과학자 야쿠프 파호츠키가 「An Alien Mind」라는 글을 올려 '지금은 어느 연구소도 최대 속도로 책임 있게 계속 키워도 될 만큼 정렬과 감시를 풀어내지 못했다'고 적었어요. 공통 안전 기준이 세워질 때까지 자발적으로 속도를 줄이는 일이 흔해지기를 바란다고 했고, 두 회사가 스스로 지켜 온 안전 규범(오픈AI의 Preparedness Framework, 앤트로픽의 Responsible Scaling Policy)을 제삼자 감사나 정부가 강제하는 기준으로 올려야 한다고 요청했어요. 지금 속도가 되풀이 자기 개선까지 이어질 것으로 본다며, 각국 정부가 국제 공조를 최우선 과제로 삼아야 한다고도 적었어요.
용어 풀이
- 정렬(alignment)
- AI가 사람이 의도한 목표와 가치대로 움직이게 맞추는 일
- 되풀이 자기 개선(recursive self-improvement)
- AI가 자기 자신을 더 낫게 만드는 일을 스스로 되풀이해 성능이 빠르게 오르는 상태
- Preparedness Framework
- 오픈AI가 모델의 위험 능력을 등급으로 재고 등급마다 어떤 조치를 걸지 정해 둔 자체 안전 기준
- Responsible Scaling Policy
- 앤트로픽이 모델 능력 단계별로 지켜야 할 안전 조치를 미리 정해 둔 자체 규범
운영자 인사이트
모델 성능이 매달 곧게 올라간다는 전제로 도입 로드맵을 잡아 두었다면 다시 점검해 볼 만해요. 회사의 연구 방향을 정하는 사람이 공개적으로 속도를 줄이자고 적었고, 오픈AI는 8월에 애스트라 내부 작업을 스스로 멈춘 적도 있어요. 특정 회사 모델 하나에 도구를 몰아 두었다면 대체 경로를 미리 확인해 두세요.
여러 관점으로 보기
- 글이 정렬을 둘로 갈라 놓은 대목 시킨 목표를 이루려 하는지를 보는 정렬과, 지시가 모호하거나 적대적인 상황에서도 원칙을 지켜 내는 정렬을 갈라 놓고, 이를 가르치는 두 방법이 각각 부서지기 쉽거나 최적화 압력에 약하다고 적었어요. Unite.AI
- 요청을 셋으로 정리한 보도 같은 기사가 파호츠키의 요청을 셋으로 정리했어요. 회사들이 스스로 만든 안전 규범을 제삼자 감사나 정부가 강제하게 할 것, 국제 공조를 최우선에 둘 것, 연구소가 되풀이 자기 개선에 얼마나 다가갔는지를 공개하게 할 것이에요. The Next Web
- 받아들이는 쪽 반응 해커뉴스에서 305점에 댓글 266개가 붙었는데, 눈에 띄는 반응 상당수는 경쟁을 만들어 놓고 이제 와 속도를 줄이자는 것이라며 상장을 앞둔 자리 잡기로 읽었어요. Hacker News