AgentWatch는 OpenAI·Anthropic·제미나이(Gemini)·베드락(Bedrock) 같은 LLM 제공사 앞단에 끼어드는 프록시예요. 요청 보내는 API 주소만 이 서비스로 바꾸면, 세션마다 정한 예산 한도를 넘는 호출은 모델에 닿기 전에 막고(402 응답으로 거절) 무한 반복 같은 폭주 루프도 잡아준다고 해요. 솔로 개발자가 만든 호스팅형(직접 서버 안 깔고 클라우드로 쓰는) 서비스로, 무료(월 5만 요청)부터 프로(월 49.5달러)까지 있고 프롬프트 내용은 저장하지 않고 사용량 정보만 본다고 밝혀요.
용어 풀이
- LLM 게이트웨이/프록시
- 여러 AI 모델 제공사로 가는 요청을 한 곳에서 대신 받아 검사·통제·중계하는 중간 서버.
- 런타임 예산 강제(runtime budget enforcement)
- 에이전트가 도는 도중 비용·호출 한도에 닿으면 더는 모델을 못 부르게 실시간으로 차단하는 것. 사후 알림이 아니라 호출 직전에 끊는다.
- 402
- 웹 요청 거절 응답 코드 중 하나로, '결제 필요/한도 초과' 의미로 쓰인다. AgentWatch는 예산 초과 호출에 이 코드를 돌려준다.
- fail-open / fail-closed
- 검사 장치가 고장 났을 때 요청을 그냥 통과시킬지(open) 막을지(closed) 정하는 정책.
운영자 인사이트
개념은 시의적절하지만, 모든 LLM 트래픽과 API 키를 솔로 개발자가 운영하는 비공개 소스 프록시로 흘려보내는 구조라 단일 장애점·키 신뢰 부담이 커요. 예산·루프 차단은 LiteLLM·Helicone·Portkey 같은 기존 게이트웨이도 상당 부분 제공해 차별점이 얇고, 출시 직후(2026-06-28)라 검증된 운영 이력이 없으며 자체 호스팅 옵션도 없어요.
여러 관점으로 보기
- 도구 소개(공식) API 주소만 바꾸면 예산 초과·폭주 루프를 모델 호출 전에 막아주고, 프롬프트는 저장 안 하고 메타데이터만 본다고 소개해요. 공식 사이트
- 여론·지적(Show HN) ‘이미 API 게이트웨이를 쓰는데 또 다른 프록시를 왜 도입하냐’는 회의론과 프롬프트 저장 여부 질문이 달렸고, 반응 자체가 저조해요(6 points·3 comments). Hacker News