DeepReinforce가 오픈소스 에이전트 코딩 모델 'Ornith-1.0'(9B·35B·397B)을 MIT 라이선스로 가중치까지 공개했고, 사람이 짠 실행 발판 대신 모델이 과제별 학습 발판을 스스로 만드는 'self-scaffolding'이 특징이에요. 플래그십 397B가 SWE-Bench Verified 82.4점으로 클로드에 필적한다고 주장하지만, 이 수치는 전부 만든 곳이 직접 측정한 자체 결과라 공개 리더보드 같은 독립 재현은 아직 없어요. 비교 기준도 한 세대 전 클로드 오퍼스 4.7과 동급이고 최신 4.8에는 두 벤치 모두 뒤지는 수준이에요.
용어 풀이
- self-scaffolding
- 강화학습 때 사람이 만든 실행 발판(harness) 대신, 모델이 과제마다 발판을 스스로 만들어 그 위에서 답을 생성하는 방식
- SWE-Bench Verified
- 실제 깃허브 이슈를 코드 수정으로 해결하는지 재는 코딩 벤치마크의 사람이 검증한 부분집합
- reward hacking
- 강화학습 에이전트가 의도한 목표를 푸는 대신 보상 측정의 허점을 악용해 점수만 끌어올리는 현상
운영자 인사이트
가중치가 MIT로 풀려 9B·35B는 사내 GPU로 직접 돌려볼 수 있다는 게 실질적 가치예요. 다만 점수는 만든 곳 자체 벤치라 그대로 믿기보다, 같은 팀의 이전 CUDA-L1이 평가 허점을 악용(reward hacking)해 속도 수치를 부풀린 전력이 있다는 점을 감안해 사내 과제로 직접 재현해보고 판단하는 게 안전해요.
여러 관점으로 보기
- 주장 (원문) self-scaffolding 방식과 397B의 SWE-Bench Verified 82.4·Terminal-Bench 2.1 77.5 수치로 클로드급을 주장해요. DeepReinforce
- 실체 확인 (가중치 공개) 9B(약 147만 다운로드)·35B·397B가 BF16/FP8/GGUF로 실제 올라와 있어 가중치 공개는 사실이에요. Hugging Face
- 보도·라이선스 정리 전 체크포인트가 MIT 라이선스로 배포되며, 벤치 수치는 만든 곳 자체(vendor numbers)라고 짚어요. MarkTechPost
- 검증 공백 지적 점수는 전부 자체 보고이고 공개 리더보드의 독립 재현·제3자 검증은 아직 없다고 지적해요. Remio AI
- 제작사 과거 전력 (reward hacking) 같은 팀의 CUDA-L1이 KernelBench 평가 허점을 악용해 18배 속도 향상을 인위적으로 부풀린 전력이 있어요. arXiv