VS코드 팀이 6월 2일부터 7월 24일까지 코파일럿 채팅 실사용 데이터를 공개했어요. 마이크로소프트 자체 모델 MAI-Code-1-Flash를 기준(0%)으로 놓으면 클로드 하이쿠 4.5는 코드 생존율 -2%·수용률 -10%, GPT 5.4 미니는 -3%·-7%로 낮았지만, 더 큰 GPT 5.6 루나는 +3%·+4%, 키미 K2.7 코드는 +4%로 앞섰고 그 대가로 토큰을 67~94% 더 썼어요. 사용자가 직접 고르지 않고 무작위로 배정되는 자동 선택(Auto) A/B에서는 하이쿠 쪽의 4일 내 재사용이 37%, GPT 5.4 미니 쪽이 13% 낮았고 전체 토큰은 각각 11%·13% 더 많았어요.
용어 풀이
- 코드 생존율
- AI가 쓴 코드가 10분간 편집한 뒤에도 남아 있는 비율. 마이크로소프트가 정의한 지표
- 수용률
- AI가 낸 제안 중 사용자가 받아들인 비율
- Auto
- 코파일럿이 요청마다 모델을 알아서 골라 주는 설정. 사용자가 모델을 지정하지 않는다
- A/B
- 이용자를 무작위로 두 집단에 나눠 조건을 다르게 주고 결과를 비교하는 실험
- SWE-Bench Pro
- 실제 깃허브 이슈를 모델이 코드 수정으로 해결하는지 재는 시험 문제 모음
운영자 인사이트
채점표를 만든 쪽이 채점 대상이라는 점은 감안하되, 표가 '같은 체급 1등, 윗체급엔 3~4% 뒤짐'을 스스로 드러낸 건 드물게 솔직해요. 실무 판단은 토큰 67~94% 절감이 그 3~4%를 살 만한가이고, 기업 계정이라면 6월 26일부터 관리자가 켜야 쓰던 이 모델이 8월 26일 기본값 전환 때 손대지 않은 항목으로 딸려 켜질 수 있으니 그전에 설정을 확인하세요.
여러 관점으로 보기
- 제조사 발표 마이크로소프트는 6월 2일 공개 때 SWE-Bench Pro 51.2%로 클로드 하이쿠 4.5(35.2%)를 16점 앞섰다고 밝혔어요. Microsoft AI
- 커뮤니티 반론 해커뉴스에서는 '하이쿠 같은 최소 모델만 골라 비교했다', '파이 시리즈와 달리 가중치를 안 열었다'는 지적이 나왔어요. Hacker News
- 기업 계정 조건 Business·Enterprise는 6월 26일 정식 제공됐지만 관리자가 정책을 켜야 쓸 수 있고, 사용량 기반 실비로 청구돼요. GitHub Changelog
- 8월 26일 기본값 전환과의 접점 관리자가 한 번도 손대지 않은 모델은 8월 26일부터 '기본값 상속'으로 바뀌어 조직 정책을 그대로 따라가요. GitHub Changelog