테크크런치가 9월 19일 낸 소개 기사에 따르면 Vals 는 8월에 앤드리슨 호로위츠(a16z)가 이끈 4천만 달러 시리즈 A 를 마감했고, 매출은 지난해의 8배, 직원은 연초 8명에서 25명으로 늘었으며, 학생이 칼리지보드에 SAT 응시료를 내듯 모델 회사가 Vals 에 돈을 내고 시험을 치르는 구조라고 창업자 라얀 크리슈난이 설명했어요. Vals 공식 방법론 문서는 데이터를 공개 검증셋, 회사에 라이선스하는 비공개 검증셋, 발표 점수에만 쓰고 절대 공개하지 않는 테스트셋 세 층으로 나누고, 모든 모델을 Vals 가 통제하는 고정 하네스로 직접 돌리며, 채점은 엄격한 정답 대조와 규칙 기반 LLM-as-a-judge 를 섞고, 오차 막대는 3회 실행의 표준오차라 프롬프트·시드·배포 설정 차이는 반영하지 않는다고 적혀 있어요. 9월 15일 갱신된 Vals 인덱스는 금융·코딩·법률 벤치마크 7개(비공개 5개, 공개 2개)를 미국 GDP 비중으로 가중한 값이고, 유료 평가가 공개 순위표에 영향을 주는지는 방법론 문서에 아무 언급이 없어요.
- LLM-as-a-judge
- 다른 언어 모델이 채점 규칙에 따라 답안의 정답 여부를 판정하는 채점 방식
- 하네스
- 모델을 호출하고 도구·프롬프트·재시도를 관리하는 실행 틀, 여기서는 평가 회사가 통제하는 고정 실행 환경
- GDP
- 국내총생산, 한 나라가 한 해 만든 재화·서비스의 총액
- 시리즈 A
- 스타트업이 초기 투자 이후 처음 받는 본격 기관 투자 단계
Vals 의 비공개 벤치마크 점수는 공개 벤치마크처럼 내 하네스로 다시 돌려 볼 수 없으니, 코딩 모델을 고를 때는 순위표의 한두 점 차이보다 표준오차 폭과 어느 하네스·채점 방식에서 나온 수치인지를 먼저 보고, 인덱스 가중치는 미국 산업 비중이라 우리 팀 작업 비율과 무관하니 SWE-bench Verified·Terminal-Bench·Vibe Code Bench 같은 개별 코딩 항목으로 내려가 읽는 편이 맞아요.
- 회사 현황 8월 시리즈 A 4천만 달러, 매출 8배, 직원 8명에서 25명, 연방기관 대상 평가 프로그램 시작을 전하고, 모델 회사가 돈을 내고 시험을 치르는 구조라고 창업자가 SAT 에 빗대 설명했어요. TechCrunch
- 공식 방법론 공개 검증셋·라이선스용 비공개 검증셋·발표 점수 전용 비공개 테스트셋 세 층, 고정 하네스, 정답 대조와 LLM-as-a-judge 채점, 3회 실행 표준오차를 적었고, 오차 막대가 프롬프트·시드·배포 설정 차이는 담지 않는다고 스스로 밝혀요. Vals AI
- 인덱스 산출 Vals 인덱스는 금융·코딩·법률의 비공개 5개와 공개 2개 벤치마크를 미국 GDP 비중으로 가중한 값이고, 9월 15일 기준 58개 모델을 시험했어요. Vals AI
- 비공개의 대가 비공개 벤치마크 점수는 시험을 돌린 기관만 확인할 수 있어서, 독자는 방법론 대신 기관의 신뢰도에 기대야 한다는 구조적 긴장을 짚었어요. FourWeekMBA