AMD MI300X 한 장(HBM 192GB)에 딥시크 V4 플래시 0731(3,040억 파라미터 MoE)을 추가 양자화 없이 통째로 올린 설정이 저장소로 공개됐어요. 가중치 156.67GiB가 HBM에 다 들어가고, 혼자 쓰면 초당 168.6토큰, 여덟 명이 동시에 쓰면 합계 542토큰, 64개를 한꺼번에 몰아치면 830토큰이 나왔어요. 대신 컨텍스트는 원래 100만에서 25만 6천으로 줄었고, 본체 램 235GiB와 디스크 500GB가 따로 필요해요.
용어 풀이
- MoE
- 여러 전문가 모듈 중 일부만 골라 쓰는 모델 구조. 전체 크기는 커도 한 번에 도는 부분은 작다
- HBM
- GPU에 직접 붙어 있는 초고속 메모리. 모델 가중치가 여기 다 들어가야 빠르게 돈다
- 양자화
- 모델 숫자의 자릿수를 줄여 용량을 낮추는 기법. 대신 품질이 조금 떨어진다
운영자 인사이트
자체 장비로 코딩 모델을 돌릴 생각이라면 값부터 따져 보세요 — MI300X는 낱장 판매가 없어 여덟 장짜리 상자(약 25만 유로)로 사야 하고, 빌리면 시간당 1.99달러인데 그 한 시간에 뽑는 830토큰/초는 딥시크 API 값으로 0.54달러어치예요. 이 설정의 값어치는 비용 절감이 아니라 데이터를 밖으로 안 내보내는 것, 그리고 공급자가 몰래 줄여 놓은 모델을 쓰지 않는 것에 있어요.
여러 관점으로 보기
- 저장소 원문 — 실측치와 그대로 따라 할 설정 가중치를 156.67GiB 그대로 HBM에 올리고, vLLM 이미지와 모델 리비전을 해시로 못 박아 둬서 남이 똑같이 재현할 수 있게 해 놨어요. GitHub
- 해커뉴스 토론 — 값이 안 맞는다는 반론 '세 배는 빨라야 값어치가 있다', '프라이버시를 네 배 비싸게 사는 셈'이라는 지적이 붙었고, 딥시크 자체 논문은 H800 한 장에 초당 1만 5천 토큰을 적어 놨어요. Hacker News