8월 16일 올라온 글이 "모델들이 사실을 덜 담고 추론에 힘을 몰아주는 쪽으로 일부러 설계된다"고 주장했어요 — 추론은 사실보다 훨씬 잘 압축되니 지식은 검색·문서로 바깥에서 대면 된다는 거예요. 근거로 GLM-5.2가 한 번에 쓰는 값 400억 개로 수학 시험 AIME 99.2%를 내는 반면, 사실을 얼마나 기억하는지 재는 SimpleQA에서는 제미나이 2.5 프로가 53%에 그친다는 수치를 들었어요. 댓글 187개에는 반론이 붙었는데, 가장 실무에 가까운 지적은 "모델이 자기가 모른다는 걸 알아야 검색 도구를 부르는 건데 지식만 덜어내면 지어내기가 늘 뿐"이라는 거예요.
용어 풀이
- AIME
- 미국 고등학생 수학 경시대회 문제로 모델의 수학 추론을 재는 시험.
- SimpleQA
- 모델이 사실을 얼마나 정확히 기억하는지 재는 시험.
운영자 인사이트
작은 모델을 골라 쓸 생각이라면 점수표보다 '모를 때 모른다고 하고 도구를 부르는지'를 먼저 재 보세요 — 사실을 덜 담은 모델은 검색·문서를 붙여야 제 성능이 나오고, 그 연결이 없으면 그럴듯한 오답만 늘어요.
여러 관점으로 보기
- 커뮤니티 반론 "모델이 모른다는 걸 인식해야 검색을 부르는데 지식만 빼면 지어내기가 는다", "추론과 지식은 갈라 놓을 수 있는 게 아니다", 실제 SimpleQA 문항에서 최신 모델이 틀린 사례까지 반박이 붙었어요. Hacker News