DiffusionGemma: 노이즈에서 글을 짜내는 오픈모델, RTX 5090에서 초당 700토큰

구글 딥마인드가 6월 10일 새 오픈웨이트 모델 DiffusionGemma를 공개했다. 핵심은 생성 방식이다. 보통의 LLM은 토큰을 왼쪽에서 오른쪽으로 하나씩 잇지만, 이 모델은 이미지 생성처럼 노이즈에서 시작해 256토큰 블록을 한 번에 병렬로 완성한다.

숫자가 직관적이다. H100 한 장에서 초당 1000토큰 이상, 소비자용 RTX 5090에서 초당 700토큰 이상이 나온다. 같은 Gemma 계열 대비 GPU에서 최대 4배 빠르다. 구조는 26B MoE(Mixture of Experts)지만 추론 때 실제로 켜지는 건 3.8B뿐이라, 양자화하면 18GB VRAM짜리 고급 소비자 그래픽카드 한 장에 들어간다. 라이선스는 Apache 2.0, 즉 상업적으로 가져다 써도 된다.

한눈에 보기

공개일	2026년 6월 10일
방식	텍스트 디퓨전, 256토큰 블록 병렬 생성
속도	H100 1000+ tok/s, RTX 5090 700+ tok/s (최대 4배)
크기	26B MoE, 활성 파라미터 3.8B, 18GB VRAM
라이선스	Apache 2.0 (상업 이용 가능)
한계	출력 품질은 표준 Gemma 4보다 낮음

왜 이게 다른가: 순서를 버린 생성

자기회귀 모델의 속도 한계는 구조적이다. 1000번째 토큰을 만들려면 앞의 999개를 순서대로 다 거쳐야 한다. 디퓨전은 이 전제를 깬다. 블록 안의 모든 토큰이 서로를 동시에 참조하며 한 번의 연산으로 자리를 잡는다.

이 방식이 특히 유리한 건 순서가 본질이 아닌 작업이다. 코드 중간을 채우는 인필링, 문서 한가운데를 고치는 인라인 편집, 수식이나 구조화된 레이아웃 생성에서 강점이 나온다. 글의 끝을 알고 중간을 메우는 일에 자연스럽다는 뜻이다.

로컬에서 무엇이 바뀌나

가장 직접적인 수혜자는 로컬 추론에 묶여 있던 개발자들이다. 그동안 온디바이스 모델의 발목을 잡은 건 속도였다. 노트북이나 단일 GPU에서 토큰당 지연이 길면 자동완성도, 에이전트 루프도 답답하다. 초당 700토큰이면 체감이 달라진다.

비용 구조도 바뀐다. API 호출당 과금에 의존하던 1인 SaaS 개발자나 인디 메이커가 반복 작업, 즉 코드 리팩터링, 대량 텍스트 정제, 폼 자동완성 같은 걸 자기 그래픽카드 위에서 돌리면 한계비용이 사실상 0에 수렴한다. 데이터를 외부로 보내지 않아도 되니 고객 데이터를 다루는 AI 네이티브 스타트업에게는 규제 대응 측면의 이점도 있다.

엔비디아가 같은 날 자사 RTX 블로그로 로컬 가속 최적화를 함께 띄운 것도 신호다. 프런티어 모델 경쟁의 다음 전선이 "가장 똑똑한 모델"만이 아니라 "내 책상 위에서 가장 빠른 모델"로 넓어지고 있다.

공짜 속도는 없다

분명한 트레이드오프가 있다. 구글 스스로 출력 품질이 표준 Gemma 4보다 낮다고 명시했다. 이 모델은 만능 추론기가 아니라 속도와 병렬 레이아웃 생성을 위해 품질을 일부 내준 실험적 도구다.

그래서 쓰임이 갈린다. 깊은 추론이 필요한 기획이나 카피라이팅은 여전히 프런티어 모델의 몫이다. 반면 정형화된 변환, 대량 처리, 지연이 곧 사용성인 인터랙티브 작업은 DiffusionGemma 같은 빠른 로컬 모델로 내려보내는 게 합리적이다. 하나의 모델이 아니라 작업별로 모델을 배치하는 라우팅이 기본기가 된다.

anyAX 관점

반복 작업의 한계비용이 0에 수렴하면 1인 개발자에게 무엇이 달라질까. 그동안 API 호출당 과금은 인디 메이커가 코드 리팩터링, 대량 텍스트 정제, 폼 자동완성 같은 걸 "돌릴 때마다 돈이 나가니" 아끼게 만들었다. 18GB VRAM 그래픽카드 한 장에 들어가고 RTX 5090에서 초당 700토큰이 나오는 모델은, 그 종량 계산기를 자기 책상 위에서 꺼버린다.

이게 1인 레버리지의 본질이다. 예전 같으면 인프라 팀과 토큰 예산을 쥔 회사만 "마음껏 돌리는" 자유를 가졌다. 이제 자기 책상 위 GPU 한 장으로 같은 자유를 얻는다. 데이터를 외부로 보내지 않으니 고객 정보를 다루는 AI 네이티브 스타트업은 규제 부담도 던다. 혼자서, 빌린 한도가 아니라 내 하드웨어 위에서 무제한으로 시도하는 것. 그게 작은 팀이 큰 팀처럼 일하는 새 지렛대다.

물론 공짜 속도엔 값이 있다. 출력 품질은 표준 Gemma 4보다 낮으니, 깊은 기획이나 카피는 여전히 프런티어 모델 몫이다. 핵심은 이제 "비싸서, 느려서 못 돌리던" 반복 작업이 한계비용 0의 영역으로 내려왔다는 것이고, 그 영역을 자기 손에 쥔 1인 메이커가 회사 규모의 처리량을 혼자 굴린다.