샌드박스 VM 회사 프리스타일(Freestyle)의 공동창업자 벤 스워들로가 에이전트로만 플레이할 수 있는 스타크래프트 브루드 워를 만들고, 모델·추론 강도 조합 19개를 서로 한 번씩 붙여 171판을 돌렸어요. 봇 코드를 짜게 한 것이 아니라 클로드 코드·코덱스·그록 빌드 하네스에 BWAPI 의 명령 내리기·관측 읽기 도구만 주고 실시간으로 명령을 내리게 했고, 결과는 코덱스 애스트라 xhigh 18승 0패(판당 10.54달러), 애스트라 medium 16승 2패, 클로드 페이블 15승 3패(12.24달러), 오푸스 5 12승 6패(20.78달러), 소네트 7승 11패, 하이쿠와 그록 4.6 low 는 0승 16패였어요. 다만 보고서 스스로 "포톤 러시를 하는 초보가 이 게임을 전부 이겼을 것"이라고 적었고, 옛 모델은 실시간 게임을 턴제처럼 생각하다 무너졌으며 코덱스가 경제·생산·전투 서브에이전트를 따로 띄워 놓고는 서로 대화하지 않아 병력을 한 기씩 흘려보냈다고 관찰했어요.
- BWAPI
- Brood War API. 스타크래프트 브루드 워를 프로그램으로 조작하고 게임 상태를 읽는 오픈소스 인터페이스
- xhigh
- 코덱스·그록의 추론 강도(effort) 설정 중 가장 높은 단계. 그 아래로 high·medium·low 가 있음
- APM
- Actions Per Minute. 분당 명령 횟수. 실시간 전략 게임에서 플레이어의 조작 속도를 재는 지표
- VM
- 가상 머신(Virtual Machine). 물리 서버 위에 격리해 띄운 가상 컴퓨터
이 벤치마크가 재는 것은 코딩 실력이 아니라 시간 압박 아래에서 관측하고 도구를 부르는 루프를 얼마나 끊기지 않게 돌리느냐이고, HN 도 추론 강도가 낮은 구성이 높은 구성을 이기는 결과를 들어 지연 시간이 순위를 크게 좌우한다고 지적했어요. 그래도 서브에이전트끼리 조율이 안 돼 병력을 흘려보낸 관찰은 코딩 작업을 여러 에이전트로 나눌 때 그대로 겪는 문제이고, 순위 하나로 모델을 고르기 전에 하네스가 클로드 코드·코덱스·그록 빌드로 각각 달랐고 비용이 토큰 기반 추정치라는 점을 감안해야 해요.
- HN 토론: 작성자 해명과 방법론 비판 작성자는 HN 에서 에이전트 하네스로 클로드 코드·코덱스·그록 빌드를, 게임 하네스로 BWAPI 의 명령 내리기·관측 읽기 도구만 썼고 무료 토큰이 많아 API 요금을 피하려고 그렇게 골랐으며 앞으로 코드 모드와 여러 판에 걸친 학습을 넣고 싶다고 답했지만, 댓글은 보고서에 하네스 설명이 빠졌고 페이블의 추론 강도가 적혀 있지 않으며 제미나이와 중국 모델이 없고, 브루드 워는 APM 에 좌우되는 게임이라 지연 시간이 곧 순위이며, 게임 대화가 학습 데이터에 많아 직접 플레이보다 봇 코드를 짜게 하는 편이 낫다고 지적했어요. Hacker News
- 만든 사람의 이해관계 벤 스워들로는 자기 사이트에서 프리스타일의 공동창업자이자 대표라고 밝히고 있고, 벤치마크는 프리스타일 VM 위에서 돌았으며 보고서와 게임 페이지가 프리스타일 후원 표시를 달고 있어요. swerdlow.dev