로컬 추론 한 대 값이 899달러에서 1만 달러로 갈렸다

8월 25일 Apple이 데스크톱 두 종을 한꺼번에 갱신했다. Mac mini는 M6 기준 899달러, M5 Pro 구성이 1,699달러다. Mac Studio는 M5 Max가 2,499달러, M5 Ultra가 5,499달러부터 시작한다. 둘 다 9월 22일 출하고 512GB 통합 메모리를 얹은 M5 Ultra 구성만 10월 말로 밀렸다. 그 구성의 미국 가격은 1만 달러를 넘는다.

Apple이 이번 발표에서 앞세운 문구는 그래픽도 영상 편집도 아니었다. 거대한 모델을 기기 안에서 통째로 돌린다는 쪽이었다.

한 줄 정리

로컬에서 모델을 돌리는 하드웨어 가격대가 899달러부터 1만 달러 위까지 한 번에 깔리면서 무엇을 내 기계로 내릴지가 예산 문제가 됐다.

한눈에 보기

메모리가 곧 모델 크기다

로컬 추론에서 실제로 벽이 되는 값은 코어 수가 아니라 메모리다. M5 Ultra는 통합 메모리를 512GB까지 올리고 대역폭을 1.2TB/s로 끌었다. 이전 세대보다 50% 높은 수치다. AI 연산 성능은 M3 Ultra 대비 최대 4.3배, M1 Ultra 대비 9.8배라고 Apple이 적었다.

512GB라는 숫자가 뜻하는 건 단순하다. 몇 천억 파라미터급 모델을 양자화 없이, 혹은 가볍게만 눌러서 한 기계에 통째로 올릴 수 있다. 지금까지 이 급을 만지려면 GPU 서버를 빌리거나 API를 불러야 했다.

Thunderbolt 5와 RDMA를 써서 여러 대를 묶는 것도 이번에 공식 기능으로 들어갔다. Apple은 Mac Studio 4대를 묶으면 한 대일 때보다 추론이 최대 3배 빨라진다고 밝혔다. 다만 4대를 M5 Ultra로 채우면 하드웨어만 2만 2천 달러부터 시작한다.

899달러 쪽에서 실제로 할 수 있는 일

숫자에 눈이 가는 건 512GB 쪽이지만 대부분의 소규모 팀이 실제로 살 물건은 899달러 Mac mini다. 기본 구성은 16GB 메모리에 256GB SSD고, 이 가격은 Mac mini 역대 최고 시작가다. 이전 세대 대비 인상이 붙었다는 지적이 발표 당일 여러 매체에서 나왔다.

16GB에서 돌아가는 건 정해져 있다. 4비트로 누른 20~30B급 모델 하나, 혹은 임베딩 모델과 소형 분류 모델 두어 개를 상주시키는 정도다. 문서 요약, 태그 분류, 회의록 정리, 고객 문의 1차 분류처럼 판단이 크지 않고 양이 많은 일에는 충분하다. 반대로 긴 문맥을 넣고 초안을 쓰게 하는 일은 여전히 클라우드가 낫다.

여기서 갈리는 지점이 실무의 핵심이다. 로컬 하드웨어는 고정비고 API는 변동비다. 매달 같은 양을 반복해서 돌리는 작업만 고정비 쪽으로 옮겼을 때 셈이 맞는다. 월에 몇 번 몰아서 쓰는 일을 기계 사서 내리면 그 기계는 대부분의 시간을 꺼진 채로 보낸다.

계산은 3년 단위로 해야 맞는다

899달러짜리를 3년 굴리면 월 2만 5천 원꼴이다. 5,499달러짜리 M5 Ultra는 같은 기간에 월 15만 원 남짓이다. 전기값과 관리 시간을 빼고 계산한 숫자다.

월 15만 원으로 상용 API를 쓰면 얼마나 돌릴 수 있는지 견줘 보면 답이 빨리 나온다. 요약과 분류 위주 워크로드라면 그 예산으로 로컬보다 훨씬 많은 토큰을, 훨씬 성능 좋은 모델로 처리한다. 성능 대비 가격만 놓고 보면 클라우드가 여전히 이긴다.

anyAX 관점

그러면 5,499달러를 쓸 이유는 성능도 가격도 아니다. 나가면 안 되는 파일이 있느냐다.

계약서 초안, 미공개 원고, 환자 기록, 아직 발표 안 한 제품 스펙. 이런 걸 다루는 팀은 외부 API에 넣는 순간 검토해야 할 게 하나 늘어난다. 보관 기간이 며칠인지, 학습에 쓰이는지, 어느 나라 서버에 앉는지. 이 검토를 통째로 없애는 방법이 기계를 책상 위에 두는 것이고, 이번 발표는 그 선택지의 가격표를 위아래로 넓게 깔았다.

그래서 이번 주에 정할 건 어느 모델이 좋은지가 아니다. 우리 팀 파일 중 밖으로 못 나가는 게 실제로 있는지, 있다면 그게 몇 퍼센트인지다. 5%라면 899달러 Mac mini 한 대로 그 5%만 내리고 나머지는 계속 API로 돌리는 게 맞다. 0%라면 512GB는 취미고, 취미는 회사 예산으로 사는 물건이 아니다.

숫자 하나 더. 512GB 구성은 10월 말에나 온다. 지금 결정을 서두를 이유가 없다는 뜻이기도 하다.

참고

• Mac Studio에 M5 Max와 M5 Ultra를 얹은 Apple 공식 발표
• 새 Mac mini의 칩 구성과 가격 정리
• 512GB 구성만 10월로 밀린 사정
• Mac mini 시작가가 899달러로 오른 배경