파이썬 웹 프레임워크 플라스크를 만든 아르민 로나허가 GPT-6 애스트라에 CPython 인터프리터를 손보는 과제를 주고 일하는 방식을 모델이 스스로 정하게 둔 실험 기록을 올렸어요. 35시간 동안 서브에이전트들이 메시지 약 1,400건을 주고받으며 커밋 79건과 순증 7만 5,000줄을 만들었고 토큰 약 10억 개에 API 요금 약 1,200달러(커밋당 15.5달러)가 들었는데, 멈추지 않고 계속 돌았고 값어치 있는 산출물은 없었다고 적었어요. 구체적으로는 코드를 고치라고 준 전용 도구(patch) 대신 파이썬 문자열 조작으로 C 코드를 편집하는 사례가 여러 번 나왔고, 들여쓰기를 뭉갠 테스트 코드가 원래 형태보다 토큰이 10% 적다는 점을 들어 긴 과제를 끝내는 데는 보상이 크지만 읽기 나쁜 코드에는 벌점이 거의 없어 보인다고 봤어요.
용어 풀이
- API
- 프로그램끼리 주고받는 연결 창구. 여기서는 모델을 직접 호출할 때 매겨지는 사용 요금 기준
- CPython
- C 언어로 짜인 파이썬 공식 해석기
- 서브에이전트
- 주 에이전트가 일을 나눠 맡기려고 따로 띄우는 보조 에이전트
운영자 인사이트
에이전트를 오래 풀어 두는 설정일수록 요금과 코드 품질이 같이 나빠질 수 있으니, 도입 전에 한 번 실행의 상한(시간·토큰·커밋 수)과 중간 리뷰 지점을 정하고 리뷰 가능한 단위로 나눠 커밋하도록 지시하는 편이 안전해요.
여러 관점으로 보기
- 반론·다른 방식 같은 글 토론에서는 한 번에 다 맡기지 말고 리뷰 가능한 단위로 나눠 커밋하게 하거나 기능을 하나씩 확인하며 진행하면 쓸 만했다는 반대 경험도 나왔어요. Hacker News
- 같은 증상 보고 한 댓글은 애스트라가 스스로 할 일을 늘리고 전체 테스트를 반복해 돌리는 바람에 리베이스 하나에 6시간 넘게 걸렸다고 적었어요. Hacker News