케이스 하나는 프롬프트 파일과 채점기 파일 몇 개로 이뤄지고, 채점기 여섯 종 가운데 regex·tool_used·tool_order·file_exists 네 종은 기록과 파일만 보고 공짜로 판정하고 llm·baseline 두 종은 심판 모델을 불러요. 기본값은 케이스마다 플러그인을 켠 채 3회, 끈 채 3회라 그 차이 Δ 가 플러그인이 보탠 몫이고, 이 실행은 전부 내 계정의 실제 모델 호출이라 구독 사용량이나 API 청구서에서 나가요. 공식 문서 문제해결 절에는 'plugin eval is currently unavailable' 항목이 따로 있는데, 앤트로픽이 서버 쪽에서 이 명령을 껐다는 뜻이고 내 기계에서 다시 켤 수 있는 건 없으니 claude update 한 뒤 나중에 새 세션에서 다시 해 보라고만 적혀 있어요.
용어 풀이
- Δ
- 델타. 플러그인을 켰을 때 점수에서 껐을 때 점수를 뺀 값
- regex
- 정규식. 정해 둔 글자 패턴이 들어 있는지 기계로 맞춰 보는 방식
- API
- 프로그램끼리 주고받는 호출 창구. 여기서는 쓴 만큼 청구되는 모델 호출
- CI
- 코드가 바뀔 때마다 서버가 자동으로 빌드·검사를 돌리는 체계
운영자 인사이트
CI 게이트로 쓸 거면 이 명령이 끊길 수 있다는 걸 전제로 깔아 두세요. 서버 쪽에서 꺼지면 내 쪽에서 되돌릴 방법이 없다고 문서가 적어 뒀고, 꺼지지 않아도 도중에 구독 사용량 한도에 걸리면 남은 실행이 그 오류째로 채점돼 대부분 0점이 되는데 결과에 partial 표시가 안 붙어서 플러그인 회귀처럼 읽혀요. 점수를 믿기 전에 오류 칸부터 보세요.
여러 관점으로 보기