플라스크(Flask) 만든 아르민 로나허가 세운 Earendil이 7월 30일 회사 이름으로 낸 글로, '내 컴퓨터에 남은 대화 기록은 더 이상 내 세션이 아니라, 운영 상태는 모델 회사가 쥐고 있는 세션의 일부 조각일 뿐'이라고 짚어요. 실제로 앤트로픽 공식 문서상 오푸스 5·소네트 5는 추론 표시가 기본 '생략'이라 thinking 칸이 비어 오고 암호화된 signature만 돌아오는데 추론 토큰 값은 그대로 청구되고, 오픈AI Responses API는 추론을 encrypted_content로만 주며, 구글 Interactions API는 기본이 저장에 유료 55일·무료 1일 보관이에요. 글은 '내 컴퓨터의 이벤트 기록이 원본', '저장은 명시적으로', '압축(compaction)은 들여다볼 수 있게' 같은 일곱 가지 원칙을 제안해요.
용어 풀이
- signature
- 앤트로픽 API가 추론 내용 전체를 암호화해 담아 돌려주는 항목. 사람이 읽을 수 없고, 대화를 이으려면 받은 그대로 되돌려 보내야 함.
- encrypted_content
- 오픈AI Responses API가 추론 내용을 암호화해 담아 돌려주는 항목. 역시 다음 호출에 그대로 넘겨야 이어짐.
- compaction
- 대화가 길어질 때 앞부분을 줄여 담는 처리. 제공사 서버에서 하면 무엇이 버려졌는지 확인하기 어려움.
- KV 캐시
- key-value cache. 앞서 계산한 내부 상태를 재활용해 긴 대화의 시간과 값을 아끼는 장치. 대화 앞부분이 바뀌면 무효가 됨.
운영자 인사이트
모델을 갈아탈 여지를 남기려면 제공사가 준 암호문에 기대지 말고, 프롬프트·도구 입출력·결과를 내 포맷으로 따로 기록해 두세요 — 서버 쪽 압축이나 내장 검색 같은 편의 기능에 기댈수록 그만큼 그 회사에서 못 벗어나요.
여러 관점으로 보기
- 반론 — 감추는 데도 이유가 있다 해커뉴스 728점·댓글 211개 토론에선 '추론을 암호로 감싸는 건 KV 캐시를 살려 두려는 비용 문제'라는 반론과 '추론 흔적 감추기는 시스템 프롬프트 감추기만큼이나 헛수고'라는 재반론이 맞붙었어요. Hacker News
- 앤트로픽 공식 문서로 확인 'signature 항목은 불투명하니 해석하거나 파싱하지 마세요', '어떤 display 설정으로도 원본 추론 사슬은 돌려주지 않아요'라고 못박고, 읽히는 요약은 다른 모델이 만든 것이라고 밝혀요. Anthropic
- 오픈AI 공식 문서로 확인 '추론 토큰은 API로 볼 수 없지만 컨텍스트를 차지하고 출력 토큰으로 청구돼요'라고 적고, 대신 encrypted_content를 다음 호출에 그대로 넘기라고 안내해요. OpenAI
- 구글도 같은 방향 Interactions API는 기본이 저장(store=true)이고 유료 55일·무료 1일 보관인데, store=false로 끄면 previous_interaction_id로 대화를 잇는 기능을 못 써요. Google