파이낸셜타임스가 7월 30일, 아마존 사내 회의에서 드러난 AI 비용 초과 사례를 보도했어요 — 저자 정보를 상품 목록에 맞추는 작업에 클로드 소네트를 붙였다가 배정 예산의 860%인 180만 달러를 썼고, 다섯 달이 지나서야 발견됐으며 그 프로젝트는 출시되지도 못했어요. 회계 감사 도구가 약 54만 1천 달러, 배송 속도 개선 시스템이 13만 4천 달러를 더 썼고, 선임 엔지니어들은 예전이라면 값싸게 끝났을 실수가 이제는 '파국적으로 비싸다'고 했어요. 아마존은 '작은 사례를 골라 일상적인 모습처럼 그린 것'이라고 반박하면서도, 엔지니어들이 자동 비용 차단 장치를 만들고 있다고 전해졌어요.
용어 풀이
- API
- 프로그램끼리 주고받는 연결 창구. AI 모델은 보통 이걸로 부르고 쓴 양만큼 요금이 매겨진다.
- 토큰
- AI 모델이 글을 잘게 쪼갠 단위. 사용량과 요금을 재는 기준이 된다.
운영자 인사이트
AI 모델 API는 쓴 만큼 청구되는데, 에이전트나 대량 처리 작업은 설정이 잘못돼도 멈추지 않고 계속 돌아서 청구서 말고는 신호가 없어요. 작은 표본으로 단가를 먼저 재고, 작업 단위 토큰 예산과 계정 사용 한도를 배포 전에 걸고, 하루 단위 임계값 알림을 사람에게 보내는 게 최소 방어선이에요 — 월 단위 청구서에만 기대면 다섯 달을 놓쳐요.
여러 관점으로 보기
- 아마존의 해명 아마존은 '새 기술이라 실험하고 배우는 중'이며 '작은 사례를 골라 일상인 것처럼 그린 것'이라고 반박했어요. PYMNTS
- 값이 달라진 실수 예전엔 사소하고 값싸게 끝났을 설정 실수가 AI 모델에서는 파국적으로 비싸졌다는 점을 짚었어요. Tom's Hardware