추론이 한 자릿수 배 빨라진다
OpenAI가 Cerebras 웨이퍼스케일에 초당 750토큰을 태운다
OpenAI가 7월 GPT-5.6 Sol을 Cerebras 웨이퍼스케일 하드웨어에서 초당 750토큰으로 서비스한다. 일반 GPU 클러스터의 40~120토큰 대비 한 자릿수 배 빠른 속도이며, 200억 달러 규모 다년 계약이 뒤에 붙었다.
지금까지 프론티어 모델의 경쟁축은 두 개였다. 얼마나 똑똑한가, 얼마나 싼가. 여기에 세 번째 축이 붙는다. 얼마나 빠른가. OpenAI가 7월 중 GPT-5.6 Sol을 Cerebras의 웨이퍼스케일 하드웨어에서 최대 초당 750토큰으로 서비스한다고 밝혔다.
비교 기준이 있어야 이 숫자가 산다. 프론티어급 모델을 일반 GPU 클러스터로 스트리밍하면 보통 초당 40~120토큰이 나온다. 같은 가중치를 웨이퍼스케일 칩에 올리면 대략 한 자릿수 배가 빨라진다는 이야기다. 사람이 읽는 속도를 한참 넘어서는 구간이고, 체감상 답이 끊기지 않고 쏟아진다.
뒤에 붙은 숫자가 무게를 더한다. 이번 배치에는 200억 달러 규모의 다년 추론 계약이 함께 공개됐다. 초기 접근은 용량이 늘어나는 만큼 일부 고객에게만 열린다. 속도를 먼저 갖는 데도 값과 순번이 있다는 뜻이다.
한눈에 보기
| 서비스 속도 | 최대 초당 750토큰 (GPT-5.6 Sol) |
| 일반 GPU 기준 | 초당 40~120토큰 |
| 속도 차이 | 대략 한 자릿수 배 |
| 계약 규모 | Cerebras와 200억 달러 다년 추론 계약 |
| 출시 | 7월 중, 초기엔 일부 고객 한정 |
속도가 왜 새 축이 되나
느린 모델과 빠른 모델은 만들 수 있는 제품이 다르다. 초당 40토큰에서는 에이전트가 여러 단계를 거치는 동안 사용자가 로딩을 본다. 초당 750토큰에서는 그 여러 단계가 사람이 기다림을 못 느끼는 시간 안에 끝난다. 에이전트가 계획을 세우고, 도구를 부르고, 결과를 검토하고, 다시 시도하는 루프가 대화 속도로 돈다.
이건 벤치마크 점수와 다른 종류의 개선이다. 정확도가 조금 오르는 건 눈에 잘 안 띄지만, 응답이 즉각 쏟아지는 건 바로 느껴진다. 실시간 음성 대화, 코드 자동완성, 여러 에이전트가 동시에 협업하는 워크플로처럼 지연이 곧 쓸모를 가르는 영역에서 속도는 기능이 아니라 제품의 전제가 된다.
웨이퍼스케일이라는 접근
Cerebras는 칩을 여러 개 이어 붙이는 대신 웨이퍼 한 장을 통째로 하나의 거대한 칩으로 쓴다. 칩과 칩 사이를 오가는 데서 생기는 지연을 줄여 추론 속도를 끌어올리는 구조다. 엔비디아 GPU가 장악한 시장에서, 속도라는 다른 축으로 파고드는 시도인 셈이다.
관건은 이 속도가 얼마나 넓게, 얼마나 싸게 풀리느냐다. 지금은 200억 달러 계약과 제한된 초기 접근이 말해주듯 프리미엄 자원이다. 속도가 특정 대형 계약의 특권으로 남을지, 아니면 값이 내려 누구나 쓰는 기본값이 될지는 아직 열려 있다.
anyAX 관점
빠른 추론은 지금 프리미엄이다. 200억 달러짜리 계약과 대기줄이 붙어 있다는 건, 오늘 이 속도를 제품의 전제로 깔면 원가와 공급 리스크를 함께 진다는 뜻이다. 인디 메이커라면 여기서 냉정해질 필요가 있다. 실시간 음성 튜터처럼 지연이 곧 제품 실패인 서비스가 아니라면, 초당 750토큰은 있으면 좋지만 없어도 되는 사치다.
그래서 질문은 "빠른 모델을 쓸까"가 아니라 "이 작업에 속도가 값을 하는가"다. 야간 배치로 리포트를 만드는 에이전트에게 초당 750토큰은 낭비다. 반면 고객과 실시간으로 말을 주고받는 접점이라면, 응답이 끊기느냐 쏟아지느냐가 이탈률을 가른다. 같은 속도가 어떤 접점에서는 사치이고 어떤 접점에서는 생존이다. 이 구분을 못 하면 남는 건 자릿수 큰 청구서뿐이다.
속도의 값이 내려오기를 기다리는 편이 대체로 이득이다. 프론티어 자원은 늘 프리미엄으로 나왔다가 값이 무너져 기본값이 됐다. 지금 대기줄에 서서 원가를 떠안기보다, 어떤 접점이 속도로 갈리는지를 미리 골라두고 값이 내려오는 순간 그 접점에 먼저 붙이는 쪽이 1인 팀에겐 맞다.