AI 에이전트가 도구 실행이나 승인을 기다리며 잠깐 멈추면, 제공사가 저장해둔 프롬프트 캐시가 만료돼서 다음 요청 때 처음부터 다시 계산하게 돼요. 이걸 막으려고 프롬프트를 주기적으로 다시 보내(핑) 캐시를 살려두는데, 개발자들이 흔히 쓰는 30초 간격은 앤트로픽의 5분 만료 기준으로 보면 필요보다 8배나 자주 보내는 낭비예요. 앤트로픽·오픈AI·구글·딥시크의 만료 방식을 실제로 측정해보니, 만료 직전인 약 4분 간격으로 보내면 같은 효과를 훨씬 싸게 얻을 수 있고, 캐시를 억지로 살려두는 게 이득인 곳은 사실상 앤트로픽뿐이었다고 해요.
용어 풀이
- KV 캐시
- 언어 모델이 이미 처리한 토큰의 계산 결과(키·값)를 저장해 다음 요청에서 다시 안 계산하고 재사용하는 임시 메모리
- TTL
- Time To Live. 저장된 데이터가 자동으로 사라지기 전까지 유지되는 시간
- 프리필(prefill)
- 모델이 답을 만들기 전에 입력 프롬프트 전체를 한 번 훑어 처리하는 준비 단계
운영자 인사이트
핵심은 '무조건 캐시를 살려두자'가 아니라 제공사 만료 정책부터 확인하는 거예요. 오픈AI·제미나이처럼 캐시가 알아서 오래 남는 곳에선 핑을 보내봐야 돈만 나가고, 앤트로픽처럼 5분에 딱 끊기는 곳에서만 만료 직전(약 4분) 핑이 이득이에요. 그마저도 멈춤이 46분을 넘기면 그냥 다시 계산하는 게 싸니, 핑 간격과 '언제 포기할지'를 만료 시간에 맞춰 정하는 게 실무 포인트예요.
여러 관점으로 보기
- 원문 실측 네 제공사의 프롬프트 캐시 만료를 직접 측정해, 30초 핑은 8배 과하고 4분 간격이 최적이라고 결론 내려요. Maxim Khailo 블로그
- 학술 논문 같은 저자의 arXiv 논문으로, 최적 4분 핑이면 멈춤 뒤 요청 비용을 최대 12.5배까지 줄인다고 정리해요. arXiv (Maxim Khailo)
- 제공사 공식 문서 앤트로픽 캐시는 기본 5분 만료에 쓰기 1.25배·읽기 0.1배 요금이라, 블로그의 만료·요금 전제가 실제와 맞아요. Anthropic 공식 문서
- 제공사 캐시 특성 오픈AI 캐시는 5~10분 안 쓰면 지워지고 최대 1시간까지 남아, 핑 없이도 오래 유지되는 '스티키' 특성이 맞아요. OpenAI
- 커뮤니티 반응 해커뉴스에 올라왔지만 반응은 작고(2점·댓글 1개) 저자가 논문·테스트 코드를 링크한 게 전부라, 외부 검증 토론은 아직 없어요. Hacker News