오픈소스 도구 Driftproof 가 8월 29일 낸 여섯 번째 보고서에서, 스킬 문서(SKILL.md)를 뺀 같은 조건으로 같은 프롬프트를 열 번씩 새로 돌린 결과를 공개했어요. 코드 리뷰 과제는 채점이 0.300~0.808(평균 0.616), 커밋 메시지 과제는 0.214~0.856(평균 0.340)으로 흩어졌고, 생성마다 생기는 편차가 채점자 편차보다 각각 3.2배·7.5배 컸어요. 원래는 스킬 세 건이 좋아졌는지 재려던 회차인데 기준값이 지난 회차와 다시 맞지 않아 셋 다 '측정 못 함'으로 닫혔고, 회차별 점수가 담긴 원자료는 보고서 페이지에서 그대로 내려받아지지만 별 1개짜리 한 사람 프로젝트의 과제 두 개짜리 예비 측정이에요.
용어 풀이
- SKILL.md
- 에이전트에게 규칙과 절차를 알려 주려고 저장소에 두는 지시문 파일
- LLM
- 대규모 언어 모델. 방대한 글을 학습해 문장을 만들어 내는 인공지능
- Apache-2.0
- 저작권 표시와 변경 고지를 지키면 상업적 이용까지 허용하는 오픈소스 라이선스
운영자 인사이트
스킬이나 프롬프트를 고친 뒤 한 번 돌려 보고 '좋아졌다'고 판단해 왔다면 그 판단이 0.5점대 흔들림 위에 서 있었을 수 있어요. 사내 평가에 LLM 채점을 붙였다면 채점을 여러 번 뽑기보다 생성을 여러 번 뽑는 쪽이 먼저고, 회차별 점수를 남겨 둬야 개선인지 편차인지 나중에라도 갈라 볼 수 있어요.
여러 관점으로 보기
- 원자료 회차별 점수와 채점 표본이 담긴 파일이 그대로 내려받아져서, 커밋 메시지 과제 열 회차는 평균 0.3396 까지 직접 다시 계산돼요. Driftproof
- 저장소 실제 상태 Apache-2.0 로 열려 있고 여섯 회차 영수증이 커밋돼 있지만, 별은 1개·포크 0·열린 이슈 0 이고 이력은 8월 29일 커밋 하나로 눌려 있어요. GitHub
- 판정이 막힌 자리 코드 리뷰 칸의 판정은 'NOT MEASURED' 이고, 기준값 차이 0.0657 이 문턱 0.05 를 넘어 막혔다고 적혀 있어요. GitHub