직원 20명이 NVIDIA 락인을 겨눈다
ZML/LLMD, 오픈 모델을 AMD·TPU·Apple Metal에서 그대로 돌린다
파리의 20인 스타트업 ZML이 여러 종류의 칩에서 오픈소스 LLM을 최고 속도로 돌리는 추론 서버를 무료로 풀었다. 추론 원가가 AI 손익의 중심이 된 지금, 칩을 갈아탈 수 있다는 건 협상력을 갖는다는 뜻이다.
추론 원가를 낮추는 방법은 셋뿐이다. 더 작은 모델을 쓰거나, 더 싼 칩을 쓰거나, 같은 칩에서 더 빨리 돌리거나. 지난주 파리의 스타트업 ZML이 뒤의 두 개를 동시에 건드리는 물건을 무료로 풀었다.
7월 8일 출시된 ZML/LLMD는 LLM 추론 서버다. 특징은 하나다. 오픈소스 모델을 NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc에서 각 칩이 낼 수 있는 최대 속도로 돌린다. 직원은 20명, 조달 자금은 2,000만 달러. Yann LeCun이 지지자로 이름을 올렸고, Hugging Face의 Clément Delangue와 Julien Chaumond, Docker 창업자 Solomon Hykes가 주주 명부에 있다.
한눈에 보기
| 제품 | ZML/LLMD, LLM 추론 서버 |
| 지원 칩 | NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc |
| 가격 | 무료(오픈소스는 아님, 사용 데이터 확보 목적) |
| 팀 | 파리, 20명, 2,000만 달러 조달 |
| 경쟁자 | vLLM(Inferact), SGLang(RadixArk), Baseten(기업가치 130억 달러) |
창업자 Steeve Morin은 Zenly의 엔지니어링 총괄이었다. Zenly는 2017년 Snapchat에 9자리 금액에 팔렸다.
문제는 성능이 아니라 이식성이다
Morin의 진단은 명확하다. 추론 최적화의 중요도는 이미 학습을 넘어섰는데, 그 밑단은 여전히 누더기라는 것. 소프트웨어와 아키텍처의 장벽 때문에 벤더 락인이 생긴다.
현실을 보면 그렇다. 오픈 모델을 하나 골라 돌리기로 결정하는 순간, 실질적으로 CUDA 생태계를 함께 고르게 된다. 커널, 라이브러리, 최적화 트릭이 전부 거기 붙어 있어서다. 그러면 GPU 가격이 오르든 공급이 밀리든 협상 카드가 없다.
LLMD가 노리는 건 그 결합을 끊는 것이다. 모델을 고르는 결정과 칩을 고르는 결정을 분리하면, 워크로드마다 가장 싸거나 가장 전력을 덜 먹는 칩으로 옮길 수 있다. Morin이 말한 표현을 그대로 옮기면 "사람들에게 자기 시스템을 직접 구성할 힘을 돌려주는 것"이다.
추론 골드러시라는 판돈
이 시장이 얼마나 뜨거운지는 경쟁자 목록이 말해준다. vLLM을 만든 팀은 Inferact로 상업화에 나섰고, SGLang은 RadixArk로 분사했다. Baseten은 최근 130억 달러 기업가치로 자금을 모은다는 보도가 나왔다. 추론 인프라에만 이 정도 자본이 쏠린다는 건, 모델 값이 아니라 모델을 돌리는 값이 AI 손익의 중심으로 옮겨왔다는 뜻이다.
ZML의 야심은 조금 더 위쪽이다. Morin은 이미 실리콘 공동 설계 단계에 왔다고 말한다. Axelera, Fractile, Kalray, SiPearl, VSORA 같은 유럽 신흥 칩 회사들과 함께 일한다. 이 회사들 입장에서 가장 큰 진입 장벽은 하드웨어 성능이 아니라 "우리 칩 위에서 돌아가는 소프트웨어가 없다"는 것이었다.
LLMD가 무료인 이유도 여기에 있다. Morin의 표현대로, 처음부터 욕심을 부려 성장을 스스로 막느니 먼저 쓰이게 하고 값은 나중에 매기겠다는 것. 오픈소스는 아니고 무료 제품이다. 이 구분은 언젠가 청구서로 돌아온다.
anyAX 관점
20명짜리 팀이 파리에서 만든 소프트웨어가, 수백억 달러가 깔린 칩 생태계의 결합을 끊겠다고 나섰다. 1인 SaaS나 소규모 팀에게 이 뉴스의 실용적 의미는 "지금 당장 AMD로 갈아타라"가 아니다. 갈아탈 수 있는 상태로 지어두라는 것이다.
추론 원가는 이제 협상 가능한 항목이다. 모델을 고르는 순간 칩까지 함께 고르게 되는 설계는, 우리 매출총이익률을 남의 GPU 가격표에 묶어 버린다. 인프라를 빌려 쓰는 것 자체는 옳다. 문제는 빌린 뒤 갈아탈 수 없는 형태로 굳어질 때다. 추상화 레이어 하나만 사이에 끼워 두면, 다음에 어떤 칩이 절반 값에 나와도 그날 바꿔 탈 수 있다.
그리고 팀 크기를 다시 보자. Morin은 팀이 20명이라서 빨리 움직인다고 말했다. 추론 서버라는, 대형 클라우드의 텃밭 한복판에서 그렇다. 지금 인프라 소프트웨어의 승부처는 인력 규모가 아니라 결합을 어디서 끊을지 아는 판단이다. 1인 창업가가 이 판에서 못 놀 이유는 별로 남아 있지 않다.