Weave 팀이 만든 workweave/router는 Claude Code·Codex·Cursor 같은 코딩 에이전트와 모델 API 사이에 끼는 로컬 프록시예요. 요청을 자체 임베더로 분석해 작업에 가장 알맞은 모델(Anthropic·OpenAI·Gemini, OpenRouter 경유 오픈 모델)로 보내고, 자체 측정으로 품질·속도 차이 없이 토큰 비용을 약 40% 줄였다고 주장해요. Opus 4.7 출시 후 토큰 비용이 급증한 게 개발 계기였고, npx 한 줄로 붙이거나 직접 호스팅할 수 있어요.
용어 풀이
- 모델 라우터 (model router)
- 들어온 요청을 분석해 여러 LLM 중 작업에 가장 알맞은 모델로 보내는 중개 계층.
- 프롬프트 캐시 / 캐시 미스 (prompt cache / cache miss)
- 같은 프롬프트 앞부분을 재사용해 비용·지연을 줄이는 기능. 모델을 바꾸면 캐시가 깨져(미스) 오히려 비용이 오를 수 있음.
- ELv2 (Elastic License v2)
- 소스는 공개하되 그대로 SaaS로 되파는 것을 제한하는 라이선스. OSI 표준 오픈소스는 아님.
- Avengers-Pro
- 여러 LLM을 성능·비용 균형(Pareto)으로 묶어 실행 시점에 라우팅하는 프레임워크 논문. router가 점수기의 기반으로 인용.
- RouterArena
- LLM 라우터들을 표준 데이터셋·지표로 평가하는 공개 리더보드. router가 1위를 주장한 곳.
운영자 인사이트
비용 절감 근거는 자체 40% 수치와 RouterArena·Avengers-Pro 인용에 기대고 있어 독립 검증은 아직 없어요. HN에서도 모델을 바꾸면 프롬프트 캐시가 깨져 오히려 비용이 오를 수 있다는 점, 작은 모델이 중간에 멈추거나 루프에 빠지는 품질 실패, Cursor의 auto 모드와 뭐가 다르냐는 차별성 의문이 바로 제기됐어요. 팀 도입 전에 캐시 미스와 라우팅 오분류 비용을 자기 코드베이스에서 직접 재봐야 해요.
여러 관점으로 보기
- 동작 방식 에이전트와 모델 API 사이의 로컬 프록시로, 자체 온박스 임베더와 Avengers-Pro 기반 점수기로 50ms 안에 라우팅한다고 설명해요. GitHub
- 커뮤니티 반응 (Show HN) 댓글 셋 모두 회의적이에요 — 모델 전환에 따른 캐시 미스, 작은 모델의 중단·루프·에러, Cursor auto 모드와의 차별성 의문이 나왔어요. Hacker News
- 벤치 근거 README가 인용한 RouterArena는 라우터를 표준 데이터셋·지표로 평가하는 실재 공개 리더보드예요. GitHub
- 시장 맥락 (선행 연구) 모델 라우팅은 RouteLLM 등으로 이미 다뤄진 주제로, 쉬운 요청은 싼 모델, 어려운 추론은 프론티어 모델로 보내 비용을 줄여요. LMSYS Org