오픈AI 가 9월 22일 GPT-6 프롬프트 캐시 개편을 발표했어요. 공식 문서를 보면 GPT-5.6 이후 모델부터 `prompt_cache_options.mode` 를 explicit 으로 두고 잘 바뀌지 않는 앞부분에 캐시 구간을 직접 지정할 수 있는데, 한 요청에 캐시 쓰기는 네 번까지이고 최소 1,024 토큰부터 걸리며, 캐시 읽기는 넣는 토큰 단가의 0.1배·캐시 쓰기는 1.25배예요. 다만 유지 시간(TTL)은 30분 하나만 지원한다고 적혀 있고, 이전 모델 설명에 있는 캐시 쓰기 추가 요금 없음과 24시간 보관(`prompt_cache_retention`)은 GPT-5.6 이후 모델 쪽에 나오지 않아요. 적중률과 놓친 이유를 보는 대시보드·진단 도구, 응답의 `cached_tokens`·`cache_write_tokens` 도 함께 열렸어요.
용어 풀이
- TTL
- 캐시에 올려 둔 내용이 지워지기 전까지 남아 있는 시간
- 프롬프트 캐시
- 앞 요청에서 이미 처리한 대화 앞부분을 서버에 얹어 두고 다시 읽는 장치. 읽기 값이 새로 처리하는 값보다 훨씬 쌈
- explicit 모드
- 어디까지를 캐시에 올릴지 요청에서 직접 지정하는 방식. 자동으로 맡기는 implicit 의 반대
운영자 인사이트
긴 에이전트 세션은 같은 맥락을 계속 다시 보내니 캐시 조건이 곧 요금이에요. 30분 안에 다음 턴이 오면 0.1배로 읽지만 회의로 끊겨 30분을 넘기면 앞부분을 1.25배에 다시 써야 해서, 이전 모델의 24시간 보관을 믿고 짠 파이프라인은 값을 다시 재 봐야 해요. 시스템 프롬프트·도구 정의처럼 안 바뀌는 앞부분에 구간을 먼저 잡고, 사고 강도는 프롬프트를 고쳐 쓰지 말고 `configuration_update` 로 바꿔 캐시를 살려 두세요.
여러 관점으로 보기