OpenAI가 자기 추론 칩을 만들기 시작했다
Broadcom과 9개월 만에 테이프아웃한 Jalapeño
OpenAI가 6월 24일 첫 자체 칩 Jalapeño를 공개했다. 추론 전용 ASIC을 Broadcom과 9개월 만에 테이프아웃했고, 전력당 성능이 현 최고 수준보다 크게 앞선다고 주장한다. 토큰을 사서 쓰는 쪽이 주목할 신호다.
OpenAI가 6월 24일 첫 자체 칩 Jalapeño를 공개했다. Broadcom과 함께 만든 추론 전용 칩이고, 회사는 이걸 GPU가 아니라 "Intelligence Processor"라고 부른다. 학습이 아니라 추론(inference) 한 가지에만 최적화한 거대 ASIC이다.
숫자가 인상적이다. 설계 착수부터 테이프아웃까지 9개월. 맞춤형 칩 설계에서 1년 안쪽은 비정상적으로 빠른 속도다. 칩은 레티클 한 장을 꽉 채우는 크기에 값싼 DRAM 대신 HBM을 얹었다. 추론, 그중에서도 추론형(reasoning)과 에이전트 워크로드가 요구하는 높은 처리량과 낮은 지연을 동시에 잡으려는 설계다. 배치는 2026년 말 시작해 여러 세대로 확장한다. OpenAI는 전력당 성능이 지금의 최고 시스템보다 상당히 앞선다고 밝혔다.
한눈에 보기
| 발표 | 2026년 6월 24일, OpenAI 첫 칩 |
| 정체 | 추론 전용 ASIC, 회사 명칭 "Intelligence Processor" |
| 파트너 | Broadcom(실리콘·네트워킹), Celestica(보드·랙·시스템) |
| 개발 속도 | 설계 착수부터 테이프아웃까지 9개월 |
| 메모리 | HBM 탑재(저가 DRAM 아님), 레티클 크기 컴퓨트 칩렛 |
| 배치 | 2026년 말 시작, 다세대 컴퓨트 플랫폼 |
| 성능 | 전력당 성능 현 최고 대비 크게 우위(자체 주장) |
왜 자체 칩인가: 학습은 한 번, 추론은 매일이다
모델을 한 번 학습시키는 비용은 크지만 일회성이다. 진짜 누적되는 돈은 추론이다. 사용자가 늘수록, 에이전트가 더 오래 돌수록, 추론 청구서는 매일 불어난다. ChatGPT급 트래픽에서는 이 상시 비용이 인프라 손익을 좌우한다.
Jalapeño의 설계 포인트가 전부 여기에 맞춰져 있다. 데이터 이동 비용, 연산과 메모리의 균형, 네트워킹 효율. 이건 학습 칩이 신경 쓰는 항목이 아니라 추론을 대규모로 돌릴 때 실제로 발목을 잡는 병목들이다. 값비싼 HBM을 굳이 얹은 이유도 같다. 길게 생각하는 reasoning 모델과 몇 시간씩 멈추지 않는 에이전트는 메모리 대역폭을 먹는다.
밑바탕에는 공급 종속 문제가 있다. 지금까지 추론 인프라의 단가는 사실상 Nvidia가 정했다. 자기 칩을 가지면 그 협상력과 단가 곡선을 안으로 끌어올 수 있다. OpenAI가 칩 회사가 되려는 게 아니라, 자기 비용 구조에서 가장 큰 변수를 직접 쥐려는 것이다.
이 칩이 추론 전용이라는 점도 그래서 중요하다. 범용 GPU는 학습과 추론을 둘 다 해야 해서 어느 쪽에도 완전히 최적화되지 않는다. Jalapeño는 학습을 포기하는 대신 추론 한 가지에 트랜지스터와 메모리 예산을 몰아넣었다. 같은 전력으로 더 많은 토큰을 뽑겠다는 계산이고, 회사가 전력당 성능을 앞세운 이유도 여기 있다. 데이터센터의 진짜 한계는 칩 개수가 아니라 끌어올 수 있는 전력이기 때문이다.
9개월이라는 속도, 그리고 칩이 칩을 설계한다
테이프아웃 9개월은 그 자체로 이야깃거리다. 보통 신규 ASIC은 설계·검증에 훨씬 오래 걸린다. OpenAI는 자사 모델을 동원해 설계와 최적화의 일부를 가속했다고 인정했다. AI가 자기를 더 싸게 돌릴 하드웨어를 설계하는 구조다.
이 자기참조 루프가 중요하다. 모델이 좋아질수록 칩 설계 주기가 짧아지고, 칩이 좋아질수록 추론 단가가 내려가고, 단가가 내려가면 그 모델을 더 많이 돌린다. 한 번 돌기 시작하면 규모를 가진 쪽이 비용에서 더 빨리 벌어진다. Broadcom이 실리콘과 네트워킹을, Celestica가 보드와 랙, 시스템을 맡는 분업 구조도 이 주기를 양산까지 빠르게 밀기 위한 배치다.
이게 일회성 칩이 아니라 다세대 컴퓨트 플랫폼의 첫 세대라는 점도 짚어야 한다. 첫 칩으로 단번에 Nvidia를 대체하겠다는 게 아니라, 자체 추론 용량의 비중을 세대를 거듭하며 늘려 가겠다는 장기 포석이다. 2026년 말 배치가 시작되면 그때부터 OpenAI의 단위 추론 비용이 외부 공급가에서 자체 원가로 조금씩 옮겨 간다. 그 격차가 API 가격에 반영되는 데는 시간이 걸리겠지만, 방향은 한쪽으로 정해졌다.
anyAX 관점
Jalapeño는 1인 SaaS 개발자나 AI 우선 팀이 살 물건이 아니다. 회사가 직접 깔고 자기 API 뒤에서 돌릴 칩이다. 그런데도 이 발표가 토큰을 사서 쓰는 쪽에 의미가 있는 이유는, 당신이 매달 결제하는 그 토큰의 원가가 여기서 정해지기 때문이다.
특히 단가가 갈리는 지점은 reasoning과 에이전트 워크로드다. Jalapeño가 정조준한 영역이 바로 그쪽이다. 에이전트 하나를 24시간 켜 두고 멀티스텝 작업을 시키는 제품이라면, 호출 한 건이 아니라 누적 추론 시간이 곧 손익이다. 인프라 단가가 전력당 성능 개선으로 한 자릿수 퍼센트씩 내려갈 때, 그 위에 얹은 제품의 마진은 코드 한 줄 안 고쳐도 따라 내려간다.
그래서 1인 개발자가 챙길 레버리지는 칩이 아니라 설계의 방향이다. 추론이 비쌀 때 억지로 짜내던 캐싱·배치·모델 분리 같은 장치를, 단가가 떨어진다고 풀어 버리면 안 된다. 비싼 모델을 분류나 요약 같은 잔일에까지 들이대는 습관은 칩이 싸져도 자릿수 큰 청구서로 돌아온다. 하드웨어가 내려 주는 단가는 모두에게 똑같이 돌아가는 공짜 선물이고, 거기서 한 번 더 벌어지는 차이는 어떤 작업에 어떤 모델을 붙일지 정하는 통합의 몫이다.