DHH 는 에이전트에게 채팅 앱 캠프파이어를 러스트·엘릭서·고로 옮기게 하고 러스트가 가장 빠르다는 벤치마크를 냈는데, 사르나츠키는 10월 11일 글에서 이를 '코드를 읽지 않고 에이전트를 쓴 결과'로 보고 다시 시험했어요. 러스트판은 비동기 엔진 안에서 동기식 DB 호출을 쓰고 있었고, 부하 시험에서 알림 전달률이 약 1%였어요. 일정 속도(초당 100건) 시험에서는 러스트 약 14%, 고친 엘릭서판 약 60%였고, 채널 용량을 256에서 16384로 늘리자 러스트 전달률은 약 90%가 됐지만 최대 지연이 130초를 넘었어요. 해커뉴스 댓글 139개에서는 공감이 많았지만, 이식은 원래 설계가 끝난 작업이라 쉬운 사례라는 지적과 '동전 던지기' 비유가 과하다는 반론도 나왔어요.
용어 풀이
- DHH
- 루비 온 레일스를 만든 데이비드 하이네마이어 핸슨
- DB
- 데이터베이스
운영자 인사이트
에이전트 결과물을 처리량 같은 숫자 하나로 판정하지 말고, 전달률·지연·실패 방식을 함께 재 보세요. 하위 호환성, 지연과 처리량 중 무엇을 우선할지, 메모리 한도 같은 요구를 프롬프트에 적지 않으면 그 결정은 에이전트가 임의로 내려요.
여러 관점으로 보기
- 벤치마크 논란 배경 DHH 가 에이전트로 만든 세 언어 이식판에서 러스트가 압도했지만, 러스트판만 최적화를 더 받았다는 비판과 엘릭서판을 고쳐 일부 작업에서 러스트를 앞섰다는 반박이 나왔어요. The Register
- 해커뉴스 토론 AI 를 반박할 만큼 알아야 AI 를 쓸 수 있다는 공감과 함께, 이식은 설계가 이미 끝난 쉬운 사례이고 '동전 던지기' 비유는 과장이라는 반론, 회사에서 AI 코드에 의문을 제기하기 어렵다는 경험담이 올라왔어요. Hacker News