오픈AI가 9월 1일 애스트라의 '치명적' 사이버 등급을 확정하며 안전장치의 하나로 사고 사슬 감시를 더 붙였다고 밝혔는데, 하루 뒤 디인포메이션이 그 애스트라가 '되풀이 깊이(recurrent depth)'를 쓴다고 보도했고 테크크런치가 9월 2일 받아 썼어요 — 다음 낱말을 내놓기 전에 같은 층에 같은 내용을 여러 번 되돌려 넣는 방식이라, 생각의 일부가 읽히는 글자가 아니라 모델 내부의 숫자 표현으로만 남아요. 레드우드 리서치 벅 슐레거리스 대표는 '애스트라가 불투명한 되풀이를 쓴다는 보도에 매우 우려한다'며 이 기법을 키우면 '사고 사슬 감시 가능성을 완전히 파괴할 것'이라고 했고, 같은 곳 라이언 그린블랫 수석연구원은 '다음 수순은 모델이 거의 전부를 잠재 공간에서 추론하게 되는 것'이라고 했어요. 정작 오픈AI는 기법 자체를 부정하는 대신 야쿠프 파초키 수석과학자가 '애스트라를 포함한 지금 프론티어 모델의 계산 그래프 깊이는 GPT-4의 두 배 안'이라며 규모를 반박했는데, 같은 자리에서 사고 사슬 감시가 '취약하고 안타깝게도 나쁜 쪽으로 가고 있다'는 것도 함께 인정했어요.
- 되풀이 깊이(recurrent depth)
- 다음 낱말을 내놓기 전에 같은 신경망 층에 같은 내용을 여러 번 되돌려 넣어 생각을 깊게 하는 구조. 계산은 늘지만 그 과정이 글자로 남지 않는다
- 사고 사슬(chain-of-thought)
- 모델이 답을 내기 전 밟는 추론 단계를 글자로 내놓은 기록. 사람이나 다른 모델이 읽어 위험한 의도를 잡아내는 감시에 쓰인다
- 잠재 공간(latent space)
- 모델이 뜻을 숫자 묶음으로 담아 두는 내부 자리. 글자가 아니라 사람이 그대로 읽을 수 없다
- 시스템 카드
- 모델을 내놓을 때 능력·위험 평가와 안전장치를 정리해 함께 공개하는 문서
에이전트가 무엇을 하려던 건지 추론 기록을 읽어 확인해 왔다면, 그 감시 방식을 만든 쪽이 직접 '취약하고 나쁜 쪽으로 가고 있다'고 인정한 셈이에요. 애스트라는 아직 안 나왔고 깊이도 GPT-4의 두 배 안이라니 오늘 당장 바뀌는 건 없지만, 검증의 무게는 모델이 말한 생각보다 실제로 남은 도구 호출·바뀐 파일·권한 승인 기록 쪽에 두세요. 오픈AI·앤트로픽 연구자가 함께 서명한 논문이 '감시 가능한 사고 사슬이 없는 아키텍처를 배포하면 그 결정을 시스템 카드에 적으라'고 권했으니, 애스트라 출시 때 확인할 자리는 거기예요.
- 얼마나 걱정할 일인지 숫자로 따진 분석 파초키가 말한 'GPT-4의 두 배 안'을 되돌림 3~4회로 환산하면 직렬 연산이 400~800회쯤이고 GPT-4가 이미 400회쯤이라, 지금은 '불투명한 추론 쪽으로 한 걸음'이지 판이 갈린 건 아니라고 봤어요. 대신 되돌림 횟수는 나중에 올리기 쉬운 값이라 경쟁 압력이 붙는 때가 갈림길이고, 숨은 추론이 조금만 깊어져도 도구 호출을 지어내 감시를 피할 수 있다는 걸 걱정거리로 짚었어요. LessWrong
- 1차 자료 — 세 회사 연구자가 작년에 함께 서명해 둔 경고 오픈AI 파초키·마크 첸·보이치에흐 자렘바, 앤트로픽 에반 후빙거·이선 페레즈·파비앵 로제, 구글 딥마인드 닐 난다·셰인 레그 등 41명이 낸 2025년 7월 논문이 '잠재 공간에서 추론하는 모델은 생각을 말로 옮길 필요가 없어 사고 사슬이 주는 안전 이점을 잃는다'고 이미 적어 뒀어요. 그런 아키텍처로 갈지 판단하고, 배포한다면 그 결정을 시스템 카드에 적으라고 권해 뒀고요. arXiv
- '치명적' 등급과 같은 모델이라는 대목 오픈AI 자체 기준이 애스트라를 '치명적' 사이버 능력으로 매겨 뒀는데 그 위험을 누르는 수단으로 사고 사슬 감시에 기대고 있다는 점을 짚었어요. 오픈AI 내부 관계자는 사고 사슬이 여전히 읽히도록 이 기법을 쓰는 범위를 일부러 좁혀 뒀다고 했고, 파초키는 감시가 나빠지는 이유가 아키텍처 변경 때문만은 아니라며 곧 따로 쓰겠다고 했대요. The Decoder