공식 MCP 인스펙터(modelcontextprotocol/inspector)는 tools/list·tools/call 을 직접 쳐 보고 OAuth 를 확인하는 프로토콜 수준 도구라 LLM 이 끼지 않는데, MCPJam(MCPJam/inspector, 아파치 2.0, 별 2.2k) 은 프롬프트·기대 도구 호출과 인자·선택적 기대 출력·단정을 테스트 케이스 하나로 묶어 클로드·GPT·제미나이 등 여러 모델에 정해진 횟수만큼 반복 실행하고, 통과·실패는 도구 호출 순서·인자·응답 문자열·토큰 예산 같은 결정론 단정으로만 정하며 LLM 심판 점수는 기본이 참고용이에요. @mcpjam/sdk 를 쓰면 Jest·Vitest 안에서 자기 API 키로 로컬 실행이 되고 계정은 결과 업로드에만 필요하며, 호스팅 심판(오픈라우터 경유)·클라이언트 매트릭스·스웜 페르소나 같은 기능은 크레딧(1 크레딧 = 0.01 달러) 기반 유료예요. 9월 17일 쇼 HN 은 9점 댓글 4개였고 '첫 평가 플랫폼' 은 회사의 자기 주장이며, 이 프로젝트는 2025년 6월 '더 나은 MCP 인스펙터' 로 처음 올라온 뒤 1년 넘게 평가 쪽으로 넓혀 온 것이라 새로 나온 제품은 아니에요.
- MCP
- Model Context Protocol. AI 에이전트가 외부 도구·데이터에 연결되는 표준 규약
- CI
- Continuous Integration. 코드를 올릴 때마다 자동으로 빌드·테스트를 돌리는 절차
- SDK
- Software Development Kit. 프로그램 안에서 기능을 호출하도록 제공되는 라이브러리 묶음
MCP 서버에서 '도구가 호출되면 잘 도나' 는 공식 인스펙터로 끝나지만 '모델이 그 도구를 고르나' 는 도구 설명 한 줄만 바꿔도 모델마다 달라져요. 이 부분을 CI 에 넣으려면 MCPJam 을 쓰든 직접 짜든 기대 도구 호출 단정에 반복 횟수를 곱하는 구조가 필요하고, 판정은 결정론 단정에 걸고 LLM 심판은 참고로만 두는 이 도구의 설계가 그대로 참고할 만해요.
- 저장소 실체 아파치 2.0 라이선스, 별 2.2k·포크 284·열린 이슈 55 이고 9월 17일 v3.7.2 까지 릴리스가 200건 넘게 쌓여 있어요. GitHub
- 평가가 실제로 하는 일 테스트 케이스는 프롬프트·기대 도구 호출·선택적 기대 출력·단정으로 이뤄지고, 통과·실패는 결정론 단정이 정하며 LLM 심판은 기본 참고용이에요. MCPJam 문서
- 로컬 실행 범위 @mcpjam/sdk 는 자기 OpenAI 등 키로 로컬에서 돌고, MCPJam API 키는 결과를 저장할 때만 필요해요. MCPJam 문서
- 비교 대상인 공식 도구 공식 MCP 인스펙터는 웹·CLI·TUI 로 서버에 붙어 tools/list·tools/call·OAuth 를 확인하는 참조 도구이고 모델 실행이나 평가 기능은 없어요. Model Context Protocol 문서
- 쇼 HN 에서 저자가 밝힌 평가 기준 무엇을 평가하느냐는 물음에 저자는 연결·도구 발견·도구 선택·호출·응답·사용자 목표 달성까지 단계별로 결정론 단정과 비결정론 평가를 섞으라고 답했어요. Hacker News