오픈AI 공식 피드 기준 9월 11일 글에서, 애스트라가 데빈이 고친 코드를 직접 돌려 보고 통과한 검사와 확인하지 못한 검사를 보고서로 내주며 시뮬레이터 화면 녹화까지 남기게 해 준다고 적었고, 데빈 클라우드 에이전트·CLI·데스크톱에 적용 중이라고 밝혔어요. 다만 새로 나온 수치는 '코그니션 자체 시험 벤치마크에서 최고 점수'라는 말뿐이고 그 점수도 비교 대상도 공개되지 않았어요. 코그니션 쪽 자료를 보면 코드를 쓰는 자리는 여전히 자사 SWE-2 이고(퓨전 권장 조합은 페이블 5.1 + SWE-2), 데빈 공식 문서는 시험 실행이 PR 생성 뒤 버튼을 눌러야 시작되고 자동 실행은 '곧 나온다'고 적어 뒀어요.
용어 풀이
- CLI
- 명령줄 인터페이스. 터미널에 명령을 입력해 프로그램을 다루는 방식
- PR
- 풀 리퀘스트. 고친 코드를 원래 저장소에 합쳐 달라고 올리는 요청
운영자 인사이트
'에이전트가 스스로 검증한다'는 말의 실체는 코드를 쓰는 모델과 결과를 확인하는 모델을 나눈 것이라, 생성과 검증에 같은 모델을 쓰고 있다면 검증 쪽만 다른 모델로 떼어 보는 실험이 값어치가 있어요. 다만 공개된 것은 녹화와 보고서라는 산출물이지 검증의 정확도가 아니고, 시험 실행도 사람이 버튼을 눌러야 시작하니 리뷰 부담이 실제로 줄었는지는 우리 저장소에서 직접 재 봐야 해요.
여러 관점으로 보기
- 오픈AI 가 밝힌 적용 범위 애스트라가 데빈의 시험 능력을 끌어올려 통과·미확인 검사 보고서와 화면 녹화를 남기게 하고, 클라우드 에이전트·CLI·데스크톱에 적용 중이라고 적었어요. OpenAI
- 코드를 쓰는 자리는 여전히 자사 모델 같은 날 나온 퓨전은 앞선 모델을 지휘로, SWE-2 를 실행으로 나눠 쓰고 권장 조합을 페이블 5.1 + SWE-2 로 적었어요. 애스트라 + SWE-2 조합은 같은 지표에서 4.54달러로, 코덱스에 애스트라만 쓴 7.47달러보다 39% 쌌다고 밝혔어요. Cognition
- 공식 문서가 적어 둔 실행 조건 데빈 문서는 시험이 PR 생성 뒤 버튼을 눌러야 돌고 자동 실행은 아직 준비 중이라고 적었고, 어느 모델이 시험을 맡는지는 밝히지 않았어요. Devin Docs
- 시험 단계를 다른 모델에 넘기는 시도는 5월부터 5월 29일 글에서 코그니션은 시험에 필요한 능력이 코드를 쓰는 능력과 달라 시험 단계만 다른 모델로 돌리는 실험을 하고 있다고 적었어요. Cognition