Ollaya 는 Ollama 가 LLM 을 돌리듯 판정 모델(텍스트나 JSON 과 질문을 받아 선택지 확률을 바로 내는 모델)을 로컬에서 돌리는 러스트 서버로, 9월 24일 v0.3.0 부터 26일 v0.7.2 까지 릴리스 열 개가 나왔고 Ollama·타입세이프와는 관계가 없다고 밝혀요. 제브의 /v1/systemone 과 같은 형식의 엔드포인트를 둬 타입세이프 공식 파이썬 SDK 를 그대로 쓸 수 있고, 9월 22일에 다룬 Kev 를 비롯해 Laya·Decider·NLI·GLiClass·Qwen3Guard 등 3억 2,200만~79억 파라미터 모델을 원 저자의 허깅페이스 가중치를 커밋과 sha256 으로 고정해 받아 ONNX 런타임이나 llama.cpp 로 돌려요. 기본 모델 Laya 는 RTX 4090 에서 질문 다섯 개에 8~10ms 라고 README 가 적었지만, 9월 24일 갱신된 제3자 순위표 JevBench 에서 41위로 제브(2위)에 크게 못 미치고 개발자도 해커뉴스에서 어려운 질문에 훨씬 약하다고 인정했어요.
용어 풀이
- ONNX
- 여러 도구에서 공통으로 읽을 수 있는 머신러닝 모델 파일 형식
- SDK
- 특정 서비스를 코드에서 쓰기 위한 개발 도구 묶음
- llama.cpp
- 언어 모델을 일반 컴퓨터에서 돌리는 오픈소스 실행 엔진
- sha256
- 파일이 바뀌지 않았는지 확인하는 지문 값 계산 방식
- API
- 프로그램끼리 기능을 주고받는 약속된 호출 방식
운영자 인사이트
제브 API 로 짠 라우팅·분류 코드를 요금 없이 로컬에서 돌려 볼 수 있게 됐지만 기본 모델의 정확도는 제브와 차이가 커요. 같은 순위표에서 decider-4b v2 는 공개 83.5%·비공개 34.7% 로 제브(86.6%·36.7%)에 가까웠으니 모델을 바꿔 가며 자기 검증셋으로 먼저 재 보고, 설치 스크립트를 셸에 바로 넘기는 방식이라 내용을 확인한 뒤 설치하는 게 좋아요.
여러 관점으로 보기
- 저장소 별 408개·열린 이슈 5개의 러스트 저장소이고, 약 3MB 짜리 ONNX 그래프만 배포하고 가중치는 원 저자 저장소에서 읽으며, README 는 kev:9b 가 자체 평가(typed-decisions)에서 0.722, decider 4B 가 0.680 이라고 적어요. GitHub
- 제3자 순위표 벤치마크 헤븐의 JevBench(9월 24일 갱신)는 지능·보정·속도·비용을 합친 점수로 decider-4b v2 를 1위(64.1), 제브 1.13.0 을 2위(63.3), kev 4B 를 28위, Laya 를 41위(30.3)에 두었고, 모든 모델이 공개 문항보다 비공개 문항에서 크게 낮아요. Benchmark Heaven
- 해커뉴스 토론 583점·댓글 142개가 붙었고, 개발자가 직접 Laya 가 제브보다 약하다고 인정했으며, 해당 구간 비용을 약 75% 줄였다는 사용 보고와 함께 '판정 모델은 결국 분류기'라는 반론과 이름이 Ollama 상표를 침해해 보인다는 지적이 나왔어요. Hacker News