YC S26 팀이 만든 Tokenless는 요청 하나를 여러 모델에 동시에 던져 놓고 각 모델이 생각하는 과정을 실시간으로 채점하다가, 잘 풀고 있는 한 곳만 남기고 나머지는 끊어 버리는 API 게이트웨이예요. OpenAI·Anthropic 호환 주소라서 Claude Code나 Codex가 바라보는 곳만 바꿔 끼우면 되고, 만든 쪽은 최상위 모델(프런티어)급 성능을 절반 값에 낸다고 했어요. 다만 공개한 벤치마크 셋 중 성능과 값이 같이 좋아진 건 은행 업무 과제(τ³-Banking) 하나뿐이고, 정작 코딩 쪽인 Terminal-Bench 2.1과 DeepSWE 1.1에서는 최상위 모델보다 싼 대신 성적이 낮았어요.
용어 풀이
- YC S26
- 미국 창업 지원 프로그램 와이 콤비네이터의 2026년 여름 기수
- API 게이트웨이
- 앱과 여러 AI 모델 사이에 끼어 요청을 대신 받아 넘겨주는 중계 서버
- τ³-Banking
- 은행 상담처럼 여러 단계를 오가는 업무 처리 능력을 재는 평가
- Terminal-Bench 2.1
- 터미널에서 명령을 실행해 과제를 끝내는 능력을 재는 코딩 평가
- DeepSWE 1.1
- 실제 소프트웨어 개발 과제를 풀게 해 성적을 재는 코딩 평가
운영자 인사이트
값보다 데이터가 지나는 길을 먼저 따져야 해요. 사내 코드와 프롬프트가 통째로 이 회사 서버를 거치는데 요금표도, 보관·학습 이용 방침도 아직 공개된 게 없고 자체 호스팅도 없어요. 위탁 처리와 무보관을 계약서에 못 박을 수 있는 팀이 아니라면, 쉬운 작업만 값싼 모델로 내리는 규칙을 직접 두는 편이 절감분의 상당 부분을 안전하게 가져가는 길이에요.
여러 관점으로 보기
- 만든 쪽 기술 설명 후보 모델들의 출력을 흘려보내며 성공 확률을 실시간으로 매기고, 각 제공사의 캐시 상태를 따로 흉내 내 두어 갈아탈 때 손해가 큰지 계산해요. Tokenless 블로그
- 해커뉴스 반론 — 캐시와 입력 토큰 셈법 "모델이 제대로 가고 있는지 알 때쯤이면 입력 토큰은 이미 다 들어간 뒤"라는 지적과, 도구 호출이 길게 이어지는 에이전트 작업은 캐시가 뜨거울 때 입력 값이 90% 깎이는데 모델을 갈아타면 그 이득이 날아간다는 반론이 나왔어요. Hacker News
- 절감 주장 월 4만 달러를 쓰면 2만 6천 달러로 줄어든다는 계산기와 평균 34% 절감이라는 수치를 내걸었지만, 그 수치를 어떻게 쟀는지는 밝히지 않았어요. Tokenless
- 먼저 나온 비슷한 접근 OpenRouter는 6월에 여러 모델을 나란히 돌린 뒤 심판 모델이 답을 합치는 Fusion을 내놨고, Tokenless는 성공 확률 예측 모델을 따로 학습시켜 못 하는 모델을 도중에 끊고 이긴 모델의 출력을 그대로 내보낸다는 점이 다르다고 설명했어요. OpenRouter 블로그