알리바바가 8월 14일 큐원3.8-27B 가중치를 열었어요. 277억 개를 통째로 돌리는 모델인데 글·그림·영상을 같이 받고 기본 문맥은 26만 2천 토큰이며, 저장소에 올라온 라이선스 파일이 손대지 않은 아파치 2.0 원문이라 이틀 전 열린 2.4조 개짜리 맥스 바탕 모델의 '코딩·오피스 보조 사업 매출이 12개월간 5천만 달러를 넘으면 따로 허락을 받아라' 조항이 여기엔 없어요. 큐원이 낸 표에서는 SWE-bench Pro 61.7·LiveCodeBench v6 90.3 으로 오푸스4.6 맥스(53.4·88.8)를 앞섰다지만 터미널벤치 2.1 은 73.0 대 78.2 로 뒤졌고, 해커뉴스에선 '277억 개짜리가 오푸스를 넘는다는 건 믿기 어렵다'는 반론이 나왔어요.
용어 풀이
- FP8
- 모델 가중치를 8비트 실수로 줄여 저장하는 방식. 메모리를 아끼는 대신 정확도를 조금 내준다
- VRAM
- 그래픽카드에 달린 전용 메모리. 모델이 여기에 다 올라가야 제 속도가 난다
- SWE-bench Pro
- 실제 저장소의 이슈를 코드 수정으로 고치게 시키는 코딩 성능 시험
- 터미널벤치
- 터미널에서 명령을 직접 쳐 과제를 끝내게 하는 시험. 에이전트 성능을 잰다
운영자 인사이트
값어치는 벤치마크보다 라이선스 쪽이에요. 맥스 가중치는 코딩 보조를 제품으로 팔 때 매출 조항을 따져야 했지만 27B는 그냥 쓰면 돼요. 다만 해커뉴스가 가리킨 FP8 판은 가중치만 29GB라 VRAM 24GB 카드엔 안 들어가고, 4비트로 내려야 16GB로 RTX 4090에 올라가요.
여러 관점으로 보기
- 이틀 전 맥스 가중치의 라이선스 같은 큐원3.8인데 2.4조 개짜리 맥스 바탕 모델에는 '12개월 매출이 5천만 달러를 넘는 코딩·오피스 보조 사업은 따로 허락을 받아라'는 조항이 그대로 붙어 있어요. Hugging Face
- 돌려 본 사람들 반응 해커뉴스 843점·553댓글에는 '277억 개가 오푸스4.6을 넘는다는 건 믿기 어렵다'는 의심과, 간단한 그림 파일 하나 만드는 데 17분씩 생각하더라는 후기가 함께 올라왔어요. Hacker News
- 내 컴퓨터에 올릴 때 드는 자원 언슬로스 표로는 4비트가 17~19GB, 8비트가 31GB라 24GB 카드는 4비트부터 들어가고, 통합 메모리 24GB 맥에서도 4비트가 돌아요. Unsloth
- 밖에서 확인한 공개 사실 공개 날짜가 8월 14일이라는 점, 글·그림·영상을 함께 받는 모델이라는 점, 아파치 2.0이라는 점을 외부 매체에서도 같이 확인했어요. The Decoder