MCP 테스트 도구 M3 를 만드는 사인프레임이 10월 12일 공개한 실험이에요. 도구 9개에 인자를 단순하게 둔 서버와 실제 API 식 도구 약 70개를 둔 서버에 클로드 코드 2.1.296(오푸스·소네트·하이쿠 5.5)과 코덱스 0.162.1(GPT-6 애스트라·6.1 솔·6 루나)을 기본 설정으로 붙여 과제당 8번씩 돌렸어요. 오푸스는 두 서버에서 100%·99%였고, 소네트는 100%에서 68%로, 루나는 86%에서 50%로 떨어졌어요. 허술한 서버의 실패 129건 중 113건은 모델이 틀리거나 덜 된 답을 내고도 끝났다고 보고한 경우였어요. 가장 해로운 결함은 전체 개수와 '더 있음' 표시가 없는 페이지 나누기였어요. 다만 영역은 이슈 트래커 하나뿐이고 비용은 추정치이며, 글쓴이 회사의 도구 홍보를 겸한 글이에요.
용어 풀이
- MCP
- AI 에이전트가 외부 도구·데이터에 연결되는 표준 규약
- API
- 프로그램끼리 기능을 주고받는 접속 규약
운영자 인사이트
사내 MCP 서버에서 작은 모델이 자주 틀린다면 모델을 바꾸기 전에 서버 응답부터 보세요. 목록 응답에 전체 개수와 다음 페이지 여부를 넣고, 필터는 서버에서 처리하고, 이름으로도 조회하게 하고, 오류 메시지에 고치는 방법을 적는 것이 이 실험에서 효과를 본 항목이에요. 다만 한 회사의 한 영역 실험이라 자기 서버에서 직접 재 보는 것이 먼저예요.