마이크로소프트 CEO 사티아 나델라는 10월 10일 X 게시물에서 「초지능을 겹겹의 블랙박스로 보고 그 답과 행동을 받아들이거나 거부하기만 할 수는 없다」고 쓰고, 방법으로 모델과 그 작업을 조율하는 하네스(harness)를 분리하기, 통제·안전장치를 모델 바깥에 두기, 의미 있는 모델 행동마다 위조할 수 없고 사람이 읽을 수 있는 기록 남기기, 권한 있는 사람이 작업 도중에 모델을 멈추거나 끌 수 있게 하기를 들었어요. 「모델이 오염됐다고 가정하고 처음부터 가둬야 하며, 비상 브레이크처럼 생각하라」는 문장도 함께 적었어요. 게시물 자체는 앤트로픽이나 특정 사고를 언급하지 않았고, 앤트로픽의 사내 평가 인터넷 차단 보도와 연결한 것은 테크크런치의 해설이며, 마이크로소프트 제품의 변경 발표도 없었어요.
용어 풀이
- CEO
- 최고경영자
- 하네스(harness)
- 모델을 감싸 도구 호출·권한·작업 흐름을 관리하는 실행 틀
- 훅
- 에이전트 동작 전후에 자동으로 실행되는 사용자 정의 스크립트
- 샌드박스
- 파일·네트워크 접근을 제한한 격리 실행 환경
운영자 인사이트
나델라가 든 네 가지는 코딩 에이전트에서 이미 손에 쥔 설정과 거의 그대로 겹쳐요. 허용·거부 규칙과 훅을 모델 바깥 하네스에 두고, 샌드박스를 켜고, 에이전트가 실행한 명령과 도구 호출을 에이전트가 고칠 수 없는 곳에 따로 남기고, 무인 실행에도 중단 수단을 두는지 지금 팀 설정에서 확인해 볼 만해요. 다만 이번 글은 원칙 제시일 뿐이라 코파일럿 등 마이크로소프트 제품이 이렇게 바뀐다는 근거로 읽으면 안 돼요.
여러 관점으로 보기
- 같은 발언의 다른 보도 더버지도 같은 게시물을 「모든 AI 모델이 오염됐다고 가정해야 한다」는 제목으로 전했어요. The Verge
- 마이크로소프트가 앞서 낸 모델 규칙 마이크로소프트 AI가 9월에 의견 수렴에 부친 행동 강령 초안은 모델이 사람의 중단·수정·종료에 저항하지 말라고 적었는데, 이번 글은 그 준수를 모델에 맡기지 말고 바깥에서 통제하라는 쪽이에요. Microsoft AI