루시딕AI 공동창업자 제러미 톈이 8월 11일 올린 글로, 이미 돌아가는 기업용 에이전트에 자동 개선 도구 셋을 붙여 같은 데이터·같은 채점으로 겨뤄 봤대요. 재현율 하한을 건 정밀도가 원래 0.734였는데 클로드 코드 루프는 0.818, 카파시의 오토리서치는 0.843, 서드레이어의 오토에이전트는 0.877이 됐고 실험 전체에 약 6만 7천 달러를 썼어요. 셋 다 수만 달러어치 컴퓨트를 받고도 제일 좋은 답을 아주 일찍 찾은 뒤 더 안 올랐다는 게 결론인데, 정작 무슨 과제인지·몇 번 돌렸는지·루프를 어떻게 짰는지는 하나도 안 적혀 있고 클로드 코드엔 '늦게 시작했고 느렸다'는 단서가 붙어 있어요.
용어 풀이
- 정밀도
- 찾아냈다고 답한 것 중 실제로 맞은 것의 비율. 헛짚음이 적을수록 높다
- 재현율
- 실제로 맞는 것 중 몇 개를 찾아냈는지의 비율. 놓침이 적을수록 높다
- YC
- Y Combinator. 미국의 스타트업 투자·보육 프로그램
- GPU
- 그래픽 처리 장치. AI 학습·추론 연산에 쓰는 칩
운영자 인사이트
'클로드 코드를 그냥 루프로 돌리면 되지 않나'에 숫자로 답한 드문 자료지만, 잰 쪽이 그 대안을 파는 회사고 과제도 안 밝혀서 우리 팀 과제에 그대로 옮길 근거는 못 돼요 — 가져갈 건 '예산을 더 태운다고 계속 오르지는 않더라' 쪽이라, 자동 루프를 붙일 거면 상한을 먼저 정하고 정체 구간에서 끊을 기준을 만들어 두는 게 현실적이에요.
여러 관점으로 보기
- 이해관계 글쓴이는 이 글이 '필요하다'고 결론 낸 전략적 에이전트 최적화를 그대로 파는 루시딕AI(YC W25)의 공동창업자 겸 수석 과학자예요. Y Combinator
- 토론 실체 해커뉴스 5점·댓글 4개인데 그중 3개가 같은 회사 창업자 글이고, 한 명은 '모델이 모는 최적화는 국소 최소에 갇혀 왔다 갔다만 한다'고 적었어요. Hacker News
- 비교 대상 실체 2위를 한 오토리서치는 카파시가 MIT 라이선스로 연 별 9만 개대 저장소로, GPU 한 장에서 5분짜리 학습을 밤새 반복하며 에이전트가 코드를 고치게 해요. GitHub