가중치를 받아도 못 돌리면 소용없다: whichllm이 내 PC에 맞는 로컬 모델을 실측으로 고른다

7월 27일 풀리는 Kimi K3는 2.8조 파라미터다. 가중치가 공짜여도 이걸 개인 장비에서 돌릴 사람은 거의 없다. 오픈 가중치는 접근을 열지 실행을 열어주지 않는다. 다운로드 버튼과 내 노트북에서 뜨는 화면 사이에는 GPU 메모리라는 벽이 있다. GeekNews 트렌딩에 오른 CLI 도구 whichllm은 그 간극의 반대편을 친다. 내 GPU·CPU·RAM을 감지하고 HuggingFace 모델 중 이 하드웨어에서 실제로 돌아가는 상위 모델을 실측 벤치마크로 골라준다. 방향이 정반대다. 위에서 제일 큰 모델을 내려다보는 대신 내 기계에서 위로 올려다본다.

한눈에 보기

도구	whichllm, 로컬 LLM 추천 CLI
선정 기준	파라미터 수가 아닌 실측 벤치마크
자동 감지	GPU·CPU·RAM
대조 사례	Kimi K3 2.8조 파라미터, 개인은 받아도 못 돌림

오픈이 곧 실행은 아니다

오픈 모델 경쟁은 파라미터 자랑으로 흐르기 쉽다. 2.8조니 몇 조니 하는 숫자는 헤드라인은 되지만 내 노트북에서 뜨는 것과는 무관하다. 진짜 질문은 "가장 큰 모델이 무엇인가"가 아니라 "내 박스에서 쓸 만하게 도는 가장 좋은 모델이 무엇인가"다. whichllm은 이 질문에 답한다. 파라미터 수라는 겉포장 대신 실제 하드웨어에서 잰 성능으로 후보를 추린다.

런타임은 이미 깔렸다

Ollama, LM Studio, llama.cpp, vLLM가 로컬 실행 자체는 이미 대중화했다. 클릭 몇 번이면 내 기계에서 모델이 뜬다. 남은 병목은 실행이 아니라 선택이었다. 수천 개 오픈 모델 중 무엇이 내 12기가 VRAM에서 버벅대지 않고 도는지 일일이 시험하는 건 품이 든다. whichllm은 그 시험을 자동화해 감지와 추천을 한 번에 끝낸다.

파라미터 숫자가 감추는 것

큰 모델 뉴스는 늘 파라미터 수를 앞세운다. 그런데 그 숫자는 성능을 그대로 뜻하지 않고 무엇보다 내 장비에서 뜨는지를 말해주지 않는다. 같은 8기가 메모리라도 어떤 7B 모델은 잘 돌고 어떤 건 스왑에 빠져 먹통이 된다. 양자화 방식, 컨텍스트 길이, 실제 처리 속도가 다 엮이기 때문이다. whichllm이 파라미터 수 대신 실측 벤치마크를 기준으로 삼은 이유가 여기 있다. 헤드라인 숫자가 아니라 내 하드웨어에서 잰 결과가 유일하게 믿을 만한 지표다.

anyAX 관점

프리랜서나 1인 SaaS 개발자가 고객 데이터를 다룰 때 모든 요청을 종량제 API로 흘려보내면 비용과 프라이버시가 동시에 샌다. 청구서는 호출 수에 비례해 붙고 민감한 원문은 남의 서버를 거친다. 내 장비에서 도는 적정 크기 모델은 그 둘을 한꺼번에 뒤집는다. 요점은 제일 큰 오픈 모델을 좇는 게 아니다. Kimi K3 2.8조를 부러워하는 대신 내 실제 작업과 하드웨어에 맞는 모델을 골라 워크플로에 박는 쪽이 이긴다. whichllm이 대중화한 건 큰 모델이 아니라 "맞는 모델"이라는 감각이다. 남의 인프라에 얹혀 매달 청구서를 받을지, 내 박스에서 데이터와 비용을 쥘지가 여기서 갈린다.