Parsimony 는 DeepSWE·SWE-bench Verified·SWE-bench Live 등이 이미 공개한 패치를 다시 실행하지 않고, 바뀐 파일의 앞뒤를 파싱해 문장·호출·비교·이름·리터럴 같은 '코딩 단위'의 순증가량(추가 − 삭제)을 세요. 테스트·문서·생성 파일은 빼고, 푼 과제 기준 평균이 적은 순으로 줄을 세워요. 기본 보드인 DeepSWE 파이썬(26개 모델)에서 같은 74%를 푼 세 모델은 클로드 페이블 5 가 1,558, GPT-5.6 Sol 이 1,964, 클로드 오푸스 5 가 2,183 단위였고, 가장 많이 덧붙인 쪽은 뮤즈 스파크 1.1(2,562)이었어요. 수치가 가장 낮은 제미나이 3.1 프로 프리뷰(1,479)는 8%만 풀었어요. 저자는 코드를 많이 쓰는 모델이 과제도 더 많이 푸는 경향(스피어먼 상관 0.33~0.60)이 있고, 작다고 늘 좋은 것은 아니며 단위는 크기일 뿐 가독성·설계를 재지 않는다고 스스로 밝혀요.
용어 풀이
- DeepSWE
- 실제 오픈소스 저장소 기능 구현 과제로 코딩 에이전트를 평가하는 벤치마크
- SWE-bench
- 깃허브 이슈를 고치는 패치로 코딩 모델을 평가하는 벤치마크 계열
- 스피어먼 상관
- 두 값의 순위가 얼마나 같이 움직이는지 보는 상관 계수
운영자 인사이트
같은 해결률에서도 모델마다 덧붙이는 코드가 40%가량 차이 나니, 에이전트 도입 후 리뷰 부담이 늘었다면 해결률 대신 변경량도 함께 보고 모델을 고를 만해요. 다만 이 수치는 크기만 재고, 해결 여부는 원 벤치마크 결과를 그대로 가져온 것이라 자기 코드베이스의 리뷰 결과로 다시 확인해야 해요.
여러 관점으로 보기
- 저장소·방법론 문서 MIT 라이선스이고, 보드는 DeepSWE 파이썬·자바스크립트·타입스크립트·Go, SWE-bench Verified(35개 모델), SWE-bench Live Lite(4개 모델), SWEeper PHP 까지 일곱 개이며, 방법론 문서는 테스트에 맞춘 하드코딩 분기가 일반적인 수정보다 단위가 적게 나올 수 있다고 적어 두었어요. GitHub