폴리테크니크 몬트리올 연구진이 별 100개 넘는 파이썬 저장소 489곳의 닫힌 PR 22만 612건을 훑어 에이전트 PR 9,428건의 병합률을 냈는데, 표에 적힌 클로드 코드 84.3%·코덱스 73.5%·데빈 43.0%는 저장소 차이와 분기를 보정한 혼합효과 모델(GLMM) 추정값이라고 논문이 직접 밝혀 뒀어요. 같은 논문 표1의 건수로 그냥 나누면 코덱스 90.0%(5,451/6,057)가 클로드 코드 75.8%(166/219)보다 위라 1·2위가 뒤집히고, 나란히 인용되는 사람 85%는 애초에 그 모델에 넣지 않은 분기별 원자료 비율이에요. 표본도 코덱스 6,057건 대 클로드 코드 219건으로 28배 차이가 나고, 골라낸 방식마저 코덱스·코파일럿·커서는 브랜치 이름, 데빈은 봇 계정, 클로드 코드만 PR 본문의 'Co-Authored-By: Claude' 문구예요.
용어 풀이
- PR
- 고친 코드를 원래 저장소에 반영해 달라고 올리는 요청(pull request)
- GLMM
- 저장소처럼 묶음마다 다른 특성을 따로 빼고 효과를 재는 통계 모형(일반화 선형 혼합 모형)
운영자 인사이트
이런 표를 도구 선정 근거로 쓰려면 분모부터 보세요 — 병합률은 닫힌 PR만 세서 열린 채 방치된 PR은 실패로 안 잡히고, 사람이 손봐서 병합한 것과 그대로 병합된 것도 나누지 않아요. 클로드 코드만 커밋 문구로 골라내서 그 문구를 끄거나 지운 팀의 PR은 통째로 빠지고, 데이터도 2025년 11월 20일까지예요.
여러 관점으로 보기
- 표본과 모델 보정 논문이 '보고한 값은 관측된 원자료 비율이 아니라 모델로 보정한 병합 확률'이라고 직접 적어 뒀고, 표3엔 신뢰구간도 사람 항목도 없어요. arXiv
- 바탕이 된 데이터셋 집계의 원본은 퀸스대 연구진이 만든 AIDev로, 저장소 11만 6,211곳에서 모은 에이전트 PR 93만 2,791건 중 파이썬·별 100개 조건으로 걸러진 일부만 이 논문에 쓰였어요. arXiv
- 데이터셋 공개본 AIDev는 허깅페이스에 공개돼 있어서 어떤 PR이 어느 도구로 분류됐는지 직접 열어 볼 수 있어요. Hugging Face