발표문은 자사 벤치마크 프론티어코드 1.1 에서 50.0% 를 받아 페이블 5.1(50.9%)과 1점 차이인데 값은 64% 싸다고 적었고, 쓸 수 있는 곳으로는 데빈 데스크톱·CLI 를 적고 데빈 웹·퓨전에 순차 적용 중이라고만 밝혔어요. 그런데 같은 표의 터미널벤치 4 에서는 27.3% 로 페이블 5.1(55.8%)·GPT-6 애스트라(57.9%)와 30점 가까이 벌어지고, 부록은 공개된 점수가 있으면 그걸 쓰고 없으면 모델마다 각자에게 맞춰진 도구로(앤트로픽 모델은 클로드 코드, 오픈AI 모델은 코덱스, 가중치가 공개된 모델은 데빈 CLI) 직접 재서 난이도 설정별 최고 점수를 적었다고 밝혀 뒀어요. 키미 K3(2.8조 파라미터)를 강화학습으로 후처리한 모델인데, 가중치 공개 여부·API·컨텍스트 길이·토큰 단가는 발표문에도 데빈 공식 문서에도 없어요.
용어 풀이
- API
- 다른 프로그램이 기능을 불러 쓸 수 있게 열어 둔 창구
- CLI
- 터미널에 명령을 쳐서 쓰는 프로그램
운영자 인사이트
쓰던 도구에 모델만 갈아 끼워 재 볼 수 없는 모델이라, 검토하려면 데빈 CLI·데스크톱을 따로 깔아야 해요. '페이블 5.1 급' 이라는 주장은 코그니션이 직접 만든 벤치마크 위의 비용 대비 수치이니, 같은 표에서 가장 최근에 나온 터미널벤치 4 점수(27.3%)를 함께 놓고 판단하세요.
여러 관점으로 보기
- 해커뉴스 반응 터미널벤치 2.1 92.8% 와 터미널벤치 4 27.3% 의 차이를 두고 새로 나온 척도에서 일반화가 안 된 것이라는 지적과, 어느 모델이나 그 척도에서는 떨어진다는 반론이 맞섰어요. Hacker News
- 쓸 수 있는 경로 데빈 공식 문서의 모델 목록은 SWE-2 를 데빈 CLI 안에서 고르는 모델로만 설명하고, 토큰 단가도 컨텍스트 길이도 적어 두지 않았어요. Devin Docs
- 비교에 쓰인 척도 터미널벤치 4 는 스탠퍼드·하버·로드 연구소가 운영하는 공개 순위표이고, 벤치마크 데이터가 학습 자료에 들어가서는 안 된다고 첫 화면에 적어 뒀어요. Terminal-Bench