IBM이 8월 25일 그래나이트(Granite) 4.2를 3B·8B·30B 세 크기로 내면서 가중치를 Apache 2.0으로 공개했어요. 30B 모델 카드가 내건 값은 SWE-bench Verified 57.00, SWE-bench Pro 33.29, Terminal-Bench 2.1 29.24, LiveCodeBench v6 75.77이고 8B는 SWE-bench Verified 47.67인데, 4월 29일에 나온 4.1이 코드 한 조각을 채우는 지표만 적어 뒀던 것과 달리 이번엔 저장소를 통째로 고치는 쪽 지표로 갈아탔어요. 정작 그 표에는 다른 회사 모델 숫자가 한 줄도 없는 IBM 자체 측정이고, 독립 측정으로 쓰이는 Artificial Analysis에도 8월 27일 현재 4.2 항목이 올라와 있지 않아요.
용어 풀이
- Apache 2.0
- 상업적 이용·수정·재배포를 모두 허용하는 오픈소스 라이선스
- SWE-bench Verified
- 실제 깃허브 이슈를 모델이 고쳐 내는지 재는 평가. 사람이 풀 수 있음을 확인한 문항만 추린 묶음
- Terminal-Bench
- 터미널에서 명령을 직접 쳐 가며 과제를 끝내는지 재는 평가
- LiveCodeBench
- 최근 출제된 프로그래밍 문제로 코드 작성 실력을 재는 평가
- GGUF
- llama.cpp 계열 도구가 읽는 모델 파일 형식. 정밀도를 낮춰 줄인 가중치를 담는다
운영자 인사이트
llama.cpp가 읽는 GGUF가 출시 당일 함께 올라와 30B 4비트가 17.7GB, 8B가 5.35GB예요 — 메모리 32GB 장비면 30B가, 16GB면 8B가 통째로 올라가니 사내망 안에서 돌릴 코딩 모델 후보로 실측해 볼 만해요. 다만 57%는 IBM이 스스로 잰 값이고 나란히 놓인 비교 숫자가 없으니, 내 저장소 이슈로 직접 재기 전엔 상용 모델을 대체할 근거로 쓰지 마세요.
여러 관점으로 보기
- 모델 카드가 내건 수치 30B 표에 SWE-bench Verified 57.00·Terminal-Bench 2.1 29.24·BFCL v4 61.39가 적혀 있는데, 같은 표에 놓인 건 3B·8B 같은 식구뿐이고 다른 회사 모델은 없어요. Hugging Face
- 내 장비에 올라가는 크기 30B GGUF는 Q2_K 10.9GB부터 Q4_K_M 17.7GB, Q8_0 31.1GB까지 갈라져 있어요. Hugging Face
- 직전 버전과 무엇이 달라졌나 4월 29일에 나온 4.1 30B은 생각 과정을 따로 두지 않는 모델이었고 SWE-bench·Terminal-Bench 값은 아예 싣지 않았어요. Hugging Face
- 매체 보도 8B·30B만 소프트웨어 개발·터미널·검색 환경 안에서 강화학습을 한 번 더 거쳤다고 정리했어요. The Decoder