한 머신러닝 엔지니어가 직접 만든 채점 도구로 인기 MCP 서버 36개를 에이전트 사용성 기준으로 평가했더니 11개가 D·F 등급을 받았어요. 도구 설명 품질, 이름 규칙, 스키마 설계, 토큰 효율, 에러 처리, 카탈로그 구성 여섯 가지로 점수를 매겼는데, 오히려 관리가 멈춘 오픈소스 서버가 활발히 개발되는 상용 서버보다 높은 점수를 받기도 했어요. 실제 모델로 시험해 보니 도구가 많고 설명이 부실한 카탈로그에서는 범위 밖 작업을 절반밖에 거절하지 못했다고 해요.
용어 풀이
- MCP
- Model Context Protocol. AI 에이전트가 외부 도구나 데이터에 연결하도록 정한 공통 규격.
운영자 인사이트
MCP 서버를 만들 때 규격만 맞추면 끝이 아니라, 파라미터마다 형식과 예시가 담긴 설명을 붙이는 게 에이전트 사용성을 좌우해요. 다만 커뮤니티에서는 url처럼 뻔한 값까지 다 설명하면 오히려 토큰만 잡아먹는다는 반론도 나오니, 모호한 파라미터 위주로 설명을 채우고 도구가 많아지면 기능별로 묶어 카탈로그를 정리하는 균형이 현실적이에요.
여러 관점으로 보기
- 분석 규격을 지켰는지가 아니라 파라미터 설명 품질이 등급을 갈랐고, 가장 낮은 점수는 firecrawl(57점)이었어요. tengli.dev
- 커뮤니티 반응 채점이 유용하다는 반응과 함께, 뻔한 파라미터까지 설명하면 토큰만 낭비된다는 방법론 반론도 나왔어요. Hacker News