XDA의 애덤 콘웨이가 8월 22일, 자기가 정식으로 산 상용 앱을 놓고 큐원3.8-27B에 '라이선스 검증을 살펴보고 약점을 정리하라'고 시켰더니 30분 만에 끝냈다고 적었어요 — 검증에 쓰이는 공개 키를 찾아냈고, 인증이 어떻게 도는지와 어떻게 무력화되는지를 단계별로 적은 보고서에 동작하는 개념 증명 스크립트까지 냈대요. 장비는 128GB 통합 메모리에 초당 273GB 대역폭인 레노버 씽크스테이션 PGX 한 대이고, 기본 상태에서는 초당 15~30 토큰이 나오지만 SGLang·NVFP4·추측 디코딩을 얹어 코드·추론 구간에서 초당 50 토큰까지 올렸다고 해요. 다만 '30분'을 견줄 대상은 기사에 없어요 — 같은 과제를 상용 모델에 돌려 보지 않았고, 저자 스스로도 '이 대상이 얼마나 대표성이 있는지 모르겠고, 성공 한 건을 큐원이 무엇이든 분석할 수 있다는 주장으로 늘리지 않겠다'고 적어 뒀어요.
용어 풀이
- SGLang
- 큰 언어 모델을 서버에서 빠르게 돌리도록 만든 오픈소스 실행기
- NVFP4
- 엔비디아가 쓰는 4비트 부동소수점 형식. 가중치를 줄여 메모리와 속도를 벌지만 정밀도는 떨어진다
- 추측 디코딩
- 작은 모델이 다음 토큰을 미리 찍어 두고 큰 모델이 한꺼번에 검증해 속도를 올리는 기법
- 통합 메모리
- CPU와 GPU가 같은 메모리를 나눠 쓰는 구조. 그래픽카드 전용 메모리 용량에 묶이지 않는다
- 개념 증명
- 주장한 방식이 실제로 통한다는 것만 보이는 최소한의 시험용 코드
운영자 인사이트
이 결과에서 로컬을 고를 이유는 성능이 아니라 허용 범위예요 — 해커뉴스에는 '클로드·챗GPT라면 이 작업을 거절한다'는 지적이 붙었고, 분석 대상 실행 파일을 바깥으로 올리지 않아도 된다는 게 실제 이득이에요. 다만 이번 건은 정적 분석만으로 풀리는 과제였고, 30분은 초당 273GB 대역폭 장비에서 나온 값이라 인텔 아크 프로 B70 두 장(초당 22 토큰)이나 M5 프로(초당 12~15 토큰)에서는 그만큼 늘어요.
여러 관점으로 보기
- 해커뉴스 반론 — 정적 분석만으로 되는 과제였어요 '참·거짓이 분명히 갈리는 과제는 원래 AI가 가장 크게 덕을 보는 쪽이라 제일 어려운 일이 아니다', '정적 분석만으로 되는 건 어려운 축이 아니다'라는 지적에, 저자는 '내 경험상 어려운 축이 맞고 이걸 끝까지 해낸 로컬 모델은 처음 봤다'고 답했어요. Hacker News
- 다른 장비에서 잰 처리량 인텔 아크 프로 B70 두 장으로 초당 22 토큰이 나온다는 보고와 M5 프로에서 6비트로 초당 12~15 토큰이라는 보고가 붙어, 기사의 초당 50 토큰은 그 장비와 설정에 묶인 값이에요. Hacker News
- 저자가 인정한 화면 사진 오류 기사에 실린 터미널 화면 사진이 큐원이 아니라 저자의 클로드 구독으로 돌린 오푸스 4.6이라는 지적이 나오자, 저자는 '다른 기사에 쓰려던 이미지를 실수로 골랐다'고 인정하고 교체했어요. Hacker News