앤트로픽 개발자 블로그 claude.dev 가 9월 28일 claude-api 스킬의 두 하위 명령을 소개했어요. /claude-api build-eval 은 실제 운영 대화 기록, 버그 신고·고객 문의, 직접 쓴 사례, 합성 사례 순으로 재료를 모으면서 보관 기간과 민감 정보 처리부터 묻고, 채점 로직과 기준 점수를 확인해 평가를 코드베이스 안에 만들어요. /claude-api hillclimb 은 사례를 학습용과 시험용으로 나눈 뒤 프롬프트·도구 설명·모델·노력 수준·하네스 코드 중 허락받은 것을 한 번에 하나씩 바꾸고, 점수가 떨어지거나 학습용 점수만 오르면 되돌려요. 글에 실린 고객 지원 예시(티켓 44건, 학습 30·시험 14)에서는 시험용 정확도가 78.6%에서 90.5%로 올랐고, 티켓당 비용은 오푸스 4.8 high 의 4.6센트에서 소넷 5 low 의 약 1센트로 줄었어요.
용어 풀이
- hillclimb
- 한 번에 하나씩 바꿔 보고 점수가 오르면 남기고 아니면 되돌리며 조금씩 개선하는 방식
- 하네스
- 모델을 불러 도구·프롬프트와 함께 실제로 돌리는 주변 코드
- max_tokens
- 응답 하나가 낼 수 있는 최대 토큰 수 설정
운영자 인사이트
스킬이 클로드 코드에 함께 들어 있어 claude update 만 하면 쓸 수 있어요. 다만 운영 대화 기록을 재료로 쓰므로 회사 데이터 반출 기준을 먼저 확인하고, v2.1.285 부터는 원격 제어(Remote Control) 클라이언트에서 /claude-api 를 실행할 수 없다는 점도 알아 두세요.
여러 관점으로 보기
- 스킬 원문 공개 저장소의 claude-api 스킬 SKILL.md 에 build-eval 과 hillclimb 이 하위 명령으로 적혀 있고, 각각 별도 안내 문서를 읽도록 돼 있어요. GitHub
- 변경 기록 v2.1.285 에서 평가 실행 뼈대가 max_tokens 에서 잘린 응답을 점수 평균에 넣던 문제를 고쳤고, 원격 제어 클라이언트에서는 /claude-api 를 못 쓰게 바꿨어요. GitHub
- 일본 기술 매체 기술평론사 기사도 9월 28일 추가를 전하면서, 반복 조정이 학습 데이터에만 맞춰지는 과적합 위험과 우연한 변동을 가리려면 반복 횟수를 늘리라는 안내를 짚었어요. gihyo.jp