저장소 75곳·10개 언어·프롬프트 1,163종에 바이브 코딩하는 사람부터 대기업 엔지니어까지 네 가지 사람 역할을 붙여 클로드 코드·코덱스·커서 세션 16,893건을 돌렸더니, 세 에이전트가 같은 도구를 고른 칸은 42%뿐이었고 외부 도구를 쓰는 대신 직접 구현해 버리는 비율은 클로드 코드가 19%로 나머지 둘(10%)의 두 배였어요. 웹 검색도 코덱스 94%·커서 3분의 2·클로드 코드 30%로 갈렸고, 이름은 자주 나오는데 끝내 안 뽑히는 자리도 있어요(페이팔 139번 언급에 채택 0번, LangChain 194번 언급에 4번). 정작 발표에 쓴 건 16,893건 가운데 '유효하다고 본' 5,292건뿐인데 무엇을 어떤 기준으로 걸러 냈는지가 적혀 있지 않고, 사람 역할도 세션 품질 판정도 제미나이 3.7 플래시가 맡았어요.
용어 풀이
- SDK
- 특정 서비스를 코드에서 쓰도록 묶어 놓은 개발 도구 모음
- SEO
- 검색 결과 위쪽에 노출되도록 웹페이지를 손보는 작업
- YC
- Y Combinator. 초기 스타트업에 투자하고 육성하는 미국 프로그램
운영자 인사이트
기본값을 안 정해 둔 저장소에선 결제·메일·데이터베이스를 에이전트가 대신 고르고 그 선택이 언어와 기존 코드에 끌려가니, 팀 표준 SDK는 규칙 파일이나 스킬에 못 박아 두는 편이 안전해요. 순위표 자체는 그 회사의 영업 자료로 보고, 에이전트마다 고르는 것이 갈린다는 사실만 가져가세요.
여러 관점으로 보기
- 측정한 쪽의 이해관계와 반론 저자가 스레드 첫 줄에 'Armature(YC 지원사) 공동창업자이고 개발자 도구에 성장 서비스를 판다'며 이 조사가 '에이전트 선택에 영향을 줘 제품이 뽑히게 하는 작업의 일부'라고 밝혔고, 그 아래엔 '검색을 망친 SEO를 그대로 되풀이하는 일'이라는 반박과 데이터베이스 항목에 Redshift가 아예 없다는 지적이 달렸어요. Hacker News
- 이 회사가 실제로 파는 상품 회사 소개 페이지는 '코딩 에이전트에게 선택받게 해 드린다'며 대표 저장소 16곳 패널로 시험해 주는 유료 서비스를 내걸고, 자사 검색이 클로드 코드·코덱스의 검색과 90% 넘게 비슷하다고 주장해요. Armature