직접 돌리려면 램 1.5테라바이트가 필요하던 2.78조 파라미터 키미 K3를, SQLite 클라우드의 마르코 밤비니가 만든 C 엔진 WASTE가 램 29GB에서 돌려요. 질문마다 실제로 쓰이는 전문가 블록만 NVMe에서 그때그때 읽어 오고 공통 몸통만 램에 두는 방식이라, 램 대신 디스크 982기가바이트를 쓰고 맥북 프로 M5 프로에서 초당 0.5토큰이 나와요. 특이한 건 캐시 예산을 32GB에서 52GB로 늘리면 속도가 초당 0.04~0.15토큰으로 주저앉는다는 점인데, 8월 1일 나온 0.6.2가 이 구간을 3배 되살리는 옵션을 넣었어요.
용어 풀이
- NVMe
- SSD를 CPU에 직접 연결해 쓰는 고속 저장장치 규격
- WASTE
- 이 엔진 이름. 가중치를 흘려 보내며 계산한다는 뜻의 영어 머리글자
- README
- 저장소를 열면 가장 먼저 보이는 프로젝트 설명 문서
운영자 인사이트
'램이 모자라 못 돌린다'가 '디스크가 느려 못 돌린다'로 바뀐 셈이라, 대형 모델 자체 호스팅을 따질 때 봐야 할 숫자가 램 용량에서 저장장치 대역폭으로 옮겨가요. 다만 만든 사람도 '대화형에는 아직 못 쓴다'고 못 박았고, 전문가 가중치를 3비트로 다시 압축한 탓에 원본 대비 품질이 얼마나 떨어지는지는 README에 수치가 없어요 — 야간 배치 정도로 기대치를 잡는 게 맞아요.
여러 관점으로 보기
- 만든 사람 설명 저자 본인이 K3 속도를 '대화형으로 쓸 물건이 아니라 기술적 결과'라고 선을 그었어요. Marco Bambini
- 해커뉴스 반응 326점 161댓글에서 '초당 0.5토큰으로 뭘 하냐'는 물음에 '퇴근하며 던져 놓는 야간 코드 리뷰'라는 답이 붙었어요. Hacker News
- 경쟁 접근 다시 압축하지 않은 원본 K3를 그대로 돌리는 deltafin 쪽은 3비트 재압축이 전송량을 34% 줄인 만큼 품질도 깎였다고 봐요. GitHub
- 커뮤니티 코드 감사 허깅페이스 토론의 제3자 감사는 전문가 가중치 오차를 19.4%로 재고, 병목이 연산이 아니라 디스크라고 짚었어요. Hugging Face