Jeff 는 큐웬 3.5(0.8B·2B)와 젬마 4 E2B 를 다시 학습해, 질문과 선택지(최대 254개)를 받으면 글을 생성하지 않고 한 번의 계산으로 선택지별 확률을 돌려주는 판정 모델이에요. 타입세이프의 제브와 같은 요청 형식을 쓰지만 타입세이프와는 관계가 없다고 밝혔고, 코드는 MIT·가중치는 아파치 2.0 으로 허깅페이스에 올렸으며, 학습은 0.8B 약 2시간·2B 약 3.5시간이 걸렸고 판정 시간 중앙값은 M4 Max 에서 0.8B 가 28ms 예요. 공개 벤치마크 다섯 개 종합은 2B 82.0%·0.8B 79.1% 로 제브 공개 수치 83.0% 에 가깝지만, 추론이 필요한 BBH 는 2B 68.7% 대 제브 94.3% 로 차이가 크고, 제브 수치는 같은 벤치마크의 다른 표본으로 잰 값이라고 README 가 적었어요.
용어 풀이
- MIT
- 복제·수정·상업 이용을 폭넓게 허용하는 오픈소스 라이선스
- BBH
- BIG-Bench Hard, 여러 단계 추론이 필요한 문제 모음 벤치마크
- M4 Max
- 애플의 고성능 노트북·데스크톱용 칩
운영자 인사이트
9월 27일에 다룬 Ollaya 가 남이 만든 판정 모델을 돌리는 서버였다면 Jeff 는 모델과 학습 방법을 함께 내놓은 쪽이에요. 감정·환각 판정 같은 단순 분류는 제브보다 높게 나왔지만 추론이 필요한 판정은 크게 밀리고, 해커뉴스에서는 채용 공고 분류에 쓸모없었다는 보고와 임베딩에 로지스틱 분류기를 붙이는 편이 낫다는 반론이 나왔으니, 자기 데이터로 먼저 재 보고 라벨이 있으면 작은 분류기와도 비교해 보세요.
여러 관점으로 보기
- 모델 가중치 허깅페이스의 Jeff-Qwen3.5-0.8B 는 큐웬 3.5 0.8B 를 기반으로 한 아파치 2.0 모델로 9월 28일 올라왔고, v1.0 은 별도 리비전으로 남아 있어요. Hugging Face
- 해커뉴스 토론 564점·댓글 218개가 붙었고, 로컬에서 미세조정할 수 있다는 점을 반기는 반응과 함께 0.8B 가 채용 공고 분류에 쓸모없었다는 보고, 임베딩과 선형 분류기가 이런 분류 작업에서 더 빠르고 정확하다는 반론, 추론 벤치마크 격차는 구조적 한계라는 지적이 나왔어요. Hacker News