해커뉴스 제목의 'RTX 4090 에서 초당 100토큰'은 README 에 없는 제출자 표현이고, README 가 직접 잰 값은 RTX 5070(12GB)·라이젠 5 7600 에서 Q2_0 으로 출력 초당 94토큰, IQ3_S 로 53토큰이며 조건은 4K 답변·32K 프롬프트예요. Strata 는 9월 24일 만들어진 MIT 라이선스 C++ 저장소로, llama.cpp·ggml 위에서 전체 1,250억 파라미터 MoE 모델의 전문가 2만 4,576개를 GPU·RAM·SSD 에 나눠 두고, 작은 보조 모델이 다음 단어를 미리 짐작하는 추측 디코딩으로 1.6~1.8배 빠르게 돌려요. 해커뉴스 댓글에는 4090·128GB 에서 초당 124토큰, RTX 2060 8GB 에서 33토큰을 봤다는 보고가 올라왔지만, 2비트로 줄이면 원래 모델 지식의 80%도 지키기 어렵다는 반론도 이어졌어요.
용어 풀이
- MoE
- Mixture of Experts, 토큰마다 일부 전문가 층만 켜서 계산량을 줄이는 모델 구조
- Q2_0
- 가중치를 약 2비트로 줄인 압축 형식
- IQ3_S
- 가중치를 약 3비트로 줄인 압축 형식, Q2_0 보다 품질 손실이 적음
- 추측 디코딩
- 작은 모델이 다음 토큰 몇 개를 먼저 짐작하고 큰 모델이 한 번에 검증하는 가속 기법
- llama.cpp
- 개인 컴퓨터에서 언어 모델을 돌리는 오픈소스 C/C++ 추론 엔진
운영자 인사이트
로컬호스트에 오픈AI·앤트로픽 형식 API 를 띄워 주니 코딩 에이전트를 붙여 볼 수는 있지만, 빠른 수치는 2비트 압축 기준이에요. 실무 코드 작업에 쓰려면 IQ3_S 이상 형식으로 자기 작업 몇 개를 돌려 품질과 속도를 함께 비교하고, RAM 이 최소 32GB·권장 64GB 이고 디스크가 약 80GB 필요하다는 점을 장비 계획에 넣으세요.
여러 관점으로 보기
- 해커뉴스 토론: 재현 보고와 품질 반론 RTX 4090·DDR5 128GB 에서 초당 124토큰, RTX 2060 8GB 에서 128K 맥락 Q2_0 으로 33토큰을 봤다는 사용자 보고가 올라왔고, 2비트 압축은 정보 이론상 원래 모델 지식의 80% 정도가 한계이고 실제로는 더 나쁘다는 반론이 함께 붙었어요. Hacker News