구글 리서치·MIT 연구진이 프롬프트·도구·연산 예산을 똑같이 맞춘 채 구조만 바꿔 260개 조합을 돌린 논문이 네이처 머신 인텔리전스 7월 24일자로 실렸어요. SWE-bench Verified에서는 단일 에이전트 평균 0.488에 견줘 하이브리드가 1.3%, 중앙집중이 2.6%, 분산이 6.4%, 각자 돌고 합치는 독립 병렬이 12.8% 낮아 네 구조가 모두 떨어졌고, 제작 순서가 강제되는 PlanCraft에서는 독립 병렬이 70.0%까지 내려갔어요. 다만 논문이 세운 기준은 '읽는 일이냐'가 아니라 '단일 에이전트 정답률이 약 45%를 넘느냐'여서, 기준선이 0.312로 낮은 Terminal-Bench에서는 독립 병렬만 6.0% 올랐어요.
용어 풀이
- SWE-bench Verified
- 실제 깃허브 저장소의 이슈를 고쳐 테스트를 통과시키는지 재는 코딩 평가 묶음
- Terminal-Bench
- 터미널 명령만으로 과제를 끝내는지 재는 평가 묶음
- PlanCraft
- 마인크래프트 제작법처럼 순서가 강제된 여러 단계를 계획해 수행하는지 재는 평가 묶음
- MAS
- multi-agent system. 에이전트 여럿이 나눠 일하는 구성
운영자 인사이트
서브에이전트를 띄울지 정할 때 '읽기 작업인가'보다 '지금 모델이 이 과제를 혼자서 얼마나 맞히나'를 먼저 확인해 보세요 — 이미 잘 푸는 과제일수록 나눠 돌린 쪽이 낮게 나왔어요. 다만 이 논문이 돌린 건 에이전트 1~4개고 코딩 쪽은 조합당 20건뿐이라, 자료 훑기처럼 각자 맥락을 따로 쌓는 쓰임까지 이 숫자로 말릴 근거는 아니에요.
여러 관점으로 보기
- 앤트로픽 — 병렬을 권하면서도 코딩은 빼 뒀어요 리서치 과제에서 나눠 돌린 구성이 오푸스 4 단일 에이전트보다 90.2% 좋았다고 적으면서도, 코딩은 리서치보다 진짜로 나눌 수 있는 일이 적고 에이전트끼리 실시간으로 조율하는 게 아직 서툴다고 선을 그었어요. 토큰은 일반 대화의 약 15배를 써요. Anthropic
- 랭체인 — 읽는 일과 쓰는 일을 갈라 놓은 정리 읽는 동작은 본래 나눠 돌리기 쉽지만 쓰는 동작은 서로 어긋나는 결정이 나쁜 결과로 이어진다며, 앤트로픽도 조사는 여럿에게 시키고 종합은 하나에게 맡긴다고 짚었어요. 다만 이 글에 붙은 수치는 앤트로픽 글에서 가져온 것뿐이에요. LangChain
- 오픈핸즈 — 하나 잘 만든 에이전트를 옹호하는 쪽 그레이엄 뉴빅이 2024년 9월에 쓴 글로, 한쪽만 아는 정보가 있거나 에이전트마다 다른 사람을 대리할 때만 나누라고 했어요. 다만 벤치마크 점수나 비교 측정은 한 건도 없는 주장 글이에요. OpenHands
- 버클리 MAST — 나눠 돌린 시스템이 어디서 깨지는지 오픈소스 MAS 프레임워크 7곳의 실행 기록 1,642건을 사람이 붙여 가며 실패 유형 14가지로 묶었고, 실패율이 41%에서 86.7%까지 나왔다고 적었어요. 다만 단일 에이전트와 나란히 세워 재 본 실험은 아니에요. arXiv