사이먼 윌리슨이 27B 큐원3.8을 128GB 맥북 프로와 DGX 스파크에 올려 보고 '성능은 훌륭한데 기본값이 과하게 생각한다'고 적었어요. 공식 모델 카드가 추론 강도(reasoning_effort)를 low·medium·xhigh 세 단계로 두고 가장 높은 xhigh 를 기본으로 잡아 둔 탓에, 자전거 탄 펠리컨 그림 하나를 뽑는 데 추론 토큰 22,276개를 쓰고 결과 3,223 토큰을 내기까지 21분이 걸렸어요. 글쓴이는 '그 기본값은 무시하고 처음엔 low 나 추론 끔으로 돌리라'고 권해요.
용어 풀이
- reasoning_effort
- 모델이 답하기 전에 얼마나 오래 생각할지 정하는 설정. 큐원3.8은 low·medium·xhigh 세 단계
- enable_thinking
- 생각 과정을 아예 만들지 말라고 지시하는 설정. 거짓으로 두면 답만 바로 나옴
- llama.cpp
- 개인 컴퓨터에서 큰 언어 모델을 돌리는 오픈소스 실행기
- DGX 스파크
- 엔비디아가 파는 책상 위 크기의 AI 계산 장비
운영자 인사이트
로컬에서 값을 정하는 건 모델 크기가 아니라 추론 토큰 수예요 — 17GB 모델이 초당 15~30 토큰이면 2만 토큰 추론은 그대로 20분이니, 도입을 재 볼 땐 reasoning_effort 를 low 로 내리거나 enable_thinking 을 꺼 두고 같은 과제를 다시 재 보세요.
여러 관점으로 보기
- 공식 문서 — 끄는 방법 큐원 공식 모델 카드에도 기본값이 xhigh 라고 적혀 있고, chat_template_kwargs 에 enable_thinking 을 거짓으로 주면 생각 과정 없이 곧바로 답만 받을 수 있어요. Hugging Face
- 글쓴이 실측 — 다른 모델과의 차이 글쓴이는 토론에서 같은 HTML 도구 과제에 큐원이 추론 토큰 17,576개를 쓴 반면 뮤즈 글리머는 1,021개로 끝냈다고 밝혔고, llama.cpp 의 --thinking-budget 으로 상한을 걸어 쓴다는 이야기도 나왔어요. Hacker News
- 반론 — 과한 게 아니라 필요한 양 다른 토론에선 큐원3.6의 약 2배를 쓴다는 이용자 계산이 나왔지만, '작은 모델이 이만큼 하려면 그 정도는 생각해야 한다', '낮추면 답이 얕아진다'는 반대 의견도 함께 달렸어요. Hacker News