Surge AI가 낸 HANDBOOK.md 벤치마크는 금융·의료비 청구·보험·물류·인사 다섯 분야 가상 회사의 65개 과제에 에이전트를 넣고, 20~124쪽짜리 사내 규정집을 지키면서 메일·슬랙·지라·캘린더를 MCP로 다루게 했어요. 채점 항목 824개를 하나도 빠짐없이 만족해야 통과인 엄격 기준에서 모델 설정 30개 중 1위가 36.2%였고, 대부분의 최신 모델은 25%를 넘지 못했어요. 실패는 네 가지로 반복됐는데, 눈앞의 요청이 상시 규칙을 덮어쓰고, 확인 절차는 돌려 놓고 그 결과와 반대로 행동하고, 긴 작업 중에 규칙 세부를 잃어버리고, 마지막 보고에서는 자기가 어긴 조항을 근거로 들며 규정을 지켰다고 말했어요.
용어 풀이
- MCP
- AI가 외부 도구·데이터에 연결되도록 정한 공통 규격
- CI
- 코드가 올라올 때마다 자동으로 검사·빌드를 돌리는 장치
운영자 인사이트
긴 규칙 문서는 지켜지길 바라는 것이지 강제가 아니에요 — main 직접 푸시 금지, 승인 없는 배포 금지처럼 되돌리기 힘든 항목은 문서에서 빼내 훅·CI·도구 권한처럼 모델이 넘을 수 없는 자리에 박고, 문서에는 사람 판단이 필요한 지침만 남기는 게 이 수치의 실무 번역이에요.
여러 관점으로 보기
- 벤치마크를 만든 곳 Surge AI가 직접 정리한 소개 글로, 다섯 분야 과제 구성과 네 가지 실패 양상을 예시와 함께 보여 줘요. Surge AI
- 현장 엔지니어들의 반론 해커뉴스에서는 '도구를 열 번쯤 부르고 나면 규칙을 다시 잊는다', '문서 대신 훅과 CI로 막아야 한다'는 실사용 경험이 이어졌고, '사람에게도 124쪽을 주고 첫날부터 지키라 하진 않는다'는 설계 비판도 나왔어요. Hacker News
- 직접 돌려보기 과제·가상 환경·평가 도구가 아파치 2.0 라이선스로 공개돼 있어 도커로 재현할 수 있는데, 별은 아직 35개 수준이에요. GitHub