데이터브릭스가 8월 7일에 사내 AI 코딩 비용을 어떻게 잡고 있는지 정리해 올렸어요 — 하네스와 프롬프트 캐싱 설정을 '비교적 단순하게' 손본 것만으로 생성 토큰과 그 비용이 거의 50% 줄었고, 개발자가 느낀 품질 저하는 없었대요. 제일 큰 지렛대는 최적화 기법이 아니라 모델 선택이라고 못 박으면서, 스트라이프는 오푸스 4.7이 4.6보다 품질이 나아지지 않는데 값만 올라 사내에 아예 열지 않았고 데이터브릭스 자신도 오푸스 5.0에서 4.8보다 비용이 되레 늘었다고 적었어요. 다만 '평균 태스크 비용 30% 절감'은 자사 유료 제품인 유니티 AI 게이트웨이(Unity AI Gateway)의 스마트 라우터로 잰 값이고, 절대 금액·개발자 수·총지출은 하나도 안 밝혔어요.
용어 풀이
- 하네스
- 모델에 도구와 맥락을 붙여 실제 작업을 돌리는 코딩 에이전트 프로그램. 클로드 코드·코덱스 같은 것
- 프롬프트 캐싱
- 매번 같은 앞부분 맥락을 다시 보내지 않고 재사용해 입력 토큰 값을 깎는 기능
- 스마트 라우터
- 요청마다 성능과 값을 견줘 어느 모델로 보낼지 자동으로 고르는 중계 기능
- 메타 하네스
- 여러 하네스를 한 껍데기로 감싸 바꿔 끼울 수 있게 하는 상위 도구
운영자 인사이트
팀에 오늘 바로 적용할 수 있는 건 게이트웨이가 필요 없는 쪽이에요 — 하네스·캐싱 설정 손질(생성 토큰 50% 감소)과 '새 모델이 나와도 기본값을 자동으로 올리지 않기'. 비용은 딱 끊는 상한 대신 대시보드로 먼저 보여 주고 경고 → 싼 모델로 강등 → 차단 순으로 마찰을 올리는 게 실제로 쓰이는 방식이래요.
여러 관점으로 보기
- 해커뉴스 반론 307점·댓글 263개가 붙었는데 '자기네가 자기 비용을 줄인 얘기지 데이터브릭스를 들이면 남의 비용이 줄어든다는 얘기가 아니다'라는 지적이 크게 나왔고, 글쓴이가 직접 나와 '내가 썼다'며 코딩 에이전트를 평가하는 것 자체가 큰 난제라 자기 코드베이스로 평가를 만들었다고 답했어요. Hacker News
- 같이 미는 제품 글이 함께 내세운 메타 하네스 옴니전트는 아파치 2.0으로 실제 공개돼 있고 별 8.4천·열린 이슈 386개에 스스로 알파라고 적어 놨어요 — 데이터브릭스 계정 없이도 돌아가요. GitHub