한국 첫 확산형 LLM이 나왔다
Trillion Labs Trida-7B, 단어 대신 문장을 병렬 생성해 ko_gsm8k 61.26으로 NVIDIA 확산 모델을 앞선다
Trillion Labs가 한국 첫 확산형(diffusion) LLM Trida-7B를 공개했다. 단어를 하나씩 생성하는 대신 문장을 병렬로 만들어 추론이 빠르고, 한국어 벤치마크에서 NVIDIA 확산 모델을 앞섰다.
Trillion Labs가 한국 첫 확산형 LLM Trida-7B를 공개했다. 지금까지 대부분의 언어모델은 왼쪽에서 오른쪽으로 단어를 하나씩 이어 붙이는 방식이었다. 확산형은 문장을 통째로 놓고 병렬로 다듬어 완성한다. 그래서 같은 크기에서도 추론이 빠르고 연산이 덜 든다.
숫자가 이 방향을 뒷받침한다. Trida-7B는 한국어 수학 추론 ko_gsm8k 61.26, 지시 따르기 koifeval 53.42, 상식 kmmlu 46.35를 기록했다. 같은 확산 계열인 NVIDIA Fast dLLM의 56.94를 여러 항목에서 넘겼다. 7B짜리 모델이 한국어 벤치마크에서 덩치 큰 국제 모델들을 앞선 셈이다.
한눈에 보기
| 모델 | Trillion Labs Trida-7B (한국 첫 확산형 LLM) |
| 생성 방식 | 단어 순차 아닌 문장 병렬 |
| ko_gsm8k (수학 추론) | 61.26 |
| koifeval (지시 따르기) | 53.42 |
| kmmlu (상식) | 46.35 |
| 비교 | NVIDIA Fast dLLM 56.94 상회 |
확산형 LLM이 왜 빠른가
기존 자기회귀 방식은 다음 단어를 뽑으려면 앞 단어가 정해져야 한다. 문장이 길어질수록 한 토큰씩 순서대로 기다린다. 확산형은 다르다. 흐릿한 초안 상태에서 문장 전체를 한 번에 놓고, 여러 자리를 동시에 또렷하게 만들어 간다. 병렬로 처리하니 지연이 줄고, 같은 출력에 드는 연산도 낮아진다.
이게 실무에서 뜻하는 건 단순하다. 응답이 빨라지고 서버 비용이 준다. 실시간 대화, 대량 분류, 문서 요약처럼 처리량이 곧 원가인 작업에서 확산형의 이점이 크다. 아직 초기 아키텍처지만 Trida-7B가 한국어 벤치에서 국제 확산 모델을 앞섰다는 건 이 접근이 한국어에서도 통한다는 첫 증거다.
7B가 한국어에서 갖는 무게
형제 모델 Trillion-7B를 보면 이 팀의 결이 드러난다. 2조 토큰으로 학습하면서 그중 다국어 데이터는 10%만 썼고, 언어 간 문서를 엮는 자체 방식(XLDA)으로 한국어 성능을 끌어올렸다. 전체 학습에 H100 59,400시간, 돈으로는 14만 8천 달러가 들었다. 프런티어 모델의 수십억 달러와 견주면 집 한 채 값이다.
작은 모델이 한국어에 특화돼 큰 모델을 이긴다는 건 한국 시장을 겨냥한 인디 개발자에게 직접적인 이야기다. 온디바이스나 자체 서버에 올릴 만한 크기이면서 한국어를 제대로 하고 확산형이라 빠르다. 범용 프런티어의 한국어를 API로 빌려 쓰던 자리를 대체할 후보가 하나 늘었다.
anyAX 관점
한국어가 곧 제품인 앱이라면 계산이 달라진다. 프런티어의 한국어를 토큰당 값으로 빌리는 대신, 한국어에 특화된 빠른 7B를 내 서버에 박으면 처리량이 늘수록 원가가 유리해진다. 14만 8천 달러로 학습된 모델 계열이 한국어 벤치에서 국제 모델을 앞섰다는 사실이 여기서 힘을 얻는다. 크고 비싸야 이긴다는 전제가 한국어라는 좁은 판에서는 흔들린다.
좁은 게 이긴다는 말을 이 뉴스는 구체적으로 보여 준다. 범용 모델은 모든 언어를 어중간하게 잘하지만 한국어만 파고든 7B는 그 한 판에서 더 정확하고 더 빠르고 더 싸다. 1인 개발자가 가진 레버리지도 여기 있다. 남들이 다 쓰는 범용 API 위에서 경쟁하면 차별점이 없다. 내 도메인, 내 언어, 내 사용자 데이터에 붙는 작은 모델을 워크플로에 박아 두면 그건 남이 그대로 복제하기 어렵다. Trida-7B는 그 선택지가 한국어에서도 실물이 됐다는 신호다.