오픈AI가 8월 13일 GPT-5.6 솔을 표준 등급 대비 최대 14배·초당 750토큰으로 돌리는 API 서비스 등급 '울트라패스트'를 미리보기로 열었어요. 세레브라스 웨이퍼 한 장짜리 칩에 SRAM 44GB를 얹어 모델 가중치를 칩 안에 두는 방식인데, 정작 세레브라스가 코덱스로 돌린 GDP-Val 측정에서 처음부터 끝까지 걸린 시간은 14배가 아니라 5.6배 줄었어요. 지금은 '선정된 소수 고객'만 API로 쓸 수 있고, 값도 컨텍스트 한도도 어디에도 안 적혀 있어요.
용어 풀이
- SRAM
- 칩 안에 직접 붙어 있는 아주 빠른 메모리. 용량이 작아 한 번에 올릴 수 있는 양이 제한된다
- KV 캐시
- 모델이 지금까지 읽은 문맥을 다시 계산하지 않으려고 저장해 두는 값. 대화가 길수록 메모리를 많이 먹는다
- GDP-Val
- 오픈AI가 만든 평가 묶음. 돈이 되는 실제 직업 업무를 얼마나 해내는지 잰다
운영자 인사이트
에이전트는 왕복이 많아 초당 토큰이 곧 체감이지만, 만든 쪽이 낸 끝-끝 수치부터 5.6배로 내려앉아요. 해커뉴스에선 도구 호출과 테스트 시간이 새 병목이 된다는 지적, 칩 한 장 SRAM 44GB로는 KV 캐시가 불어나는 긴 세션이 버겁다는 지적이 붙었어요. 솔의 105만 토큰 컨텍스트가 여기서도 그대로인지, 값이 얼마인지는 아직 안 밝혔어요.
여러 관점으로 보기
- 업계 해석 '지금까지는 실시간 속도를 얻으려면 더 작은 모델을 골라야 했다'는 오픈AI 설명을 전하면서, 값과 적용 조건은 아직 없다고 짚었어요. TechCrunch
- 현장 회의론 2,500문항을 나눠 푸는 건 원래 병렬로 쉬운 일이라는 지적과, 에이전트에선 도구 호출이 새 병목이 된다는 지적이 나왔어요. Hacker News