엔비디아가 8월 19일 블로그에서 자사 제품 30여 개의 검증 스킬 300여 개를 스킬 없이 한 번, 켜고 한 번 돌려 정답률이 46점에서 87점으로, 유효성이 39점에서 78점으로 올랐다고 밝혔고, 하네스별 평균 상승은 클로드 코드 34점·코덱스 29점이었어요. 다만 토큰은 스킬마다 달라서 jetson-optimize-memory 는 76.9% 줄었지만 cuopt-install 은 120.3% 늘었고, 이 결과는 엔비디아가 직접 검증한 스킬 기준이라 아무 스킬에나 옮겨지진 않아요. 실제로 SkillsBench 논문은 과제 87개에서 큐레이션 스킬의 평균 이득을 16.6포인트로 쟀는데 도메인별로 소프트웨어 공학 4.5포인트부터 의료 51.9포인트까지 벌어졌고 모델이 스스로 만든 스킬은 평균 이득이 없었으며, Vercel 은 1월 평가에서 56% 의 경우 스킬이 아예 호출되지 않았다고 적었어요.
용어 풀이
- 하네스
- 모델을 감싸 도구 호출·파일 접근을 맡는 실행 틀. 클로드 코드·코덱스가 각각 하나의 하네스
- Harbor
- 격리된 컨테이너에서 에이전트 과제를 돌리는 오픈소스 평가 프레임워크
- SpreadsheetBench
- 실제 스프레드시트 편집 과제로 모델을 재는 벤치마크
운영자 인사이트
스킬을 쓸지 말지보다 자기 스킬을 켜고 끈 채 같은 과제로 짝지어 돌려 본 적이 있는지가 문제예요. SkillEvaluator 의 실제 실행 계층은 Harbor 샌드박스와 API 키가 필요하니 전부 돌리려 하지 말고, 팀에서 자주 쓰는 스킬 두세 개만이라도 켜고 끈 채 돌려 정답률과 토큰을 함께 보고, 토큰만 늘고 정답률이 안 오르는 스킬은 빼세요. 스킬이 호출되지 않는 문제는 설명문 점검이 아니라 이런 실행 시험에서만 드러나요.
여러 관점으로 보기
- 도구 구조 SkillEvaluator 는 정적 검사·PII 스캔(1계층), 임베딩으로 스킬 간 중복 탐지(2계층), Harbor 샌드박스에서 스킬 유무를 짝지어 실행(3계층) 세 층으로 나뉘고, agentskills.io 명세의 SKILL.md 를 받아요. 별 479개, 아파치 2.0 이에요. GitHub
- 독립 벤치마크 SkillsBench 논문은 큐레이션 스킬이 통과율을 33.9% 에서 50.5% 로 16.6포인트 올리지만 설정별로 4.1~25.7포인트로 갈리고, 모듈 3개 이하의 작은 스킬이 큰 묶음보다 낫다고 적었어요. arXiv
- 스킬 자동 최적화 마이크로소프트 SkillOpt 논문은 스킬 문서를 검증 점수로 고쳐 가는 최적화기로, SpreadsheetBench 에서 GPT-5.5 가 클로드 코드 하네스로 돌 때 스킬 없이 22.1점, 사람이 쓴 스킬로 37.1점, 최적화된 스킬로 80.4점을 냈어요. arXiv
- 반대 결과 Vercel 은 1월 27일 자사 Next.js 평가에서 56% 의 경우 스킬이 아예 호출되지 않았고 호출을 강제해도 79% 가 상한이었던 반면, AGENTS.md 에 8KB 문서 색인을 넣은 쪽은 100% 였다고 적었어요. Vercel