GLM-5.3은 베이스를 그대로 두고 후속 훈련만 늘렸다

Z.ai가 8월 14일 GLM-5.3을 냈는데 베이스 모델을 다시 훈련하지 않았다. 743B 파라미터 베이스는 GLM-5.2와 같은 것을 쓰고, 보고된 향상은 전부 post-training을 키워서 얻었다. 과제 환경을 늘리고, 환경 종류를 늘리고, 훈련을 길게 돌렸다. 그 결과 Terminal-Bench 3.0 점수가 4.6에서 28.3으로 올랐다.

한눈에 보기

44개 직군을 다루는 GDPval-AA v2에서는 1,769점을 받았다. 전부 Z.ai가 직접 낸 수치다.

향상이 어디에 몰렸는지 보면 성격이 보인다

Terminal-Bench 3.0은 6배 넘게 뛰었고 ExploitBench는 두 배가 넘는다. 반면 Agents' Last Exam은 23.8에서 28.5로 소폭이다. 공개된 어려운 코딩 평가 여러 곳에서는 GPT-5.6 Sol과 Claude Fable 5에 여전히 밀린다.

패턴이 일정하다. 벤치마크가 요구하는 작업 길이가 길수록 향상 폭이 크다. 짧은 단발 질의는 이미 포화 구간에 들어갔고, 갈리는 자리가 여러 단계를 이어 계획하고 중간에 실패를 복구하는 쪽으로 옮겨갔다. 베이스를 안 건드리고 post-training만 키워도 이만큼 나온다는 건 그 여지가 아직 많이 남았다는 뜻이다.

토큰당 성적표가 따로 있다

내부 평가인 Z.ai Code Bench 수치가 더 흥미롭다. GLM-5.3은 과제당 출력 약 50,000토큰을 쓰면서 31.4%를 기록했다. 같은 표에서 Claude Opus 4.8은 120,000토큰을 쓰고 29.5%다. Claude Fable 5가 최대 노력으로 39.5%를 찍어 선두를 지킨다.

순위표만 읽으면 3위지만 예산을 쥔 쪽이 볼 숫자는 50,000과 120,000이다. 같은 정답률을 절반도 안 되는 출력 토큰으로 냈다면 그건 성능 지표가 아니라 청구서 지표다. 내부 벤치라 오염 위험이 낮다는 게 Z.ai 주장이고 그 말은 검증도 어렵다는 뜻이니 그대로 믿을 근거는 아니다. 그래도 방향은 분명하다.

가중치를 붙잡아 둔 이유

GLM-5.3의 가중치는 아직 공개되지 않았다. Z.ai는 안전 평가와 하드닝이 끝나는 대로 약 2주 뒤 Hugging Face에 오픈소스 라이선스로 올리겠다고 했다. 지금 쓰려면 Z.ai API나 GLM Coding Plan, ZCode를 거쳐야 한다.

미룬 이유가 사이버 보안 쪽이다. Z.ai는 취약점 탐지 데이터를 넣을 때 단일 버그 추론이 나아지는 정도를 기대했는데, 훈련을 키우자 능력이 계속 누적됐고 모델이 공격 사슬 전체를 관통하는 계획을 세우기 시작했다고 밝혔다. 화이트박스 소스에서 취약점을 찾고 검증하는 CyberGym이 84.5%로 Claude Mythos 5의 83.8%와 GPT-5.6 Sol의 83.6%를 앞질렀다. 근본 원인 추론과 동작하는 익스플로잇을 요구하는 ExploitBench는 54.4%로 Mythos 5의 78.0%에는 못 미친다. ExploitGym에서는 2시간에 105개, 6시간에 130개 과제를 끝냈다. GLM-5.2는 같은 조건에서 29개와 39개였다.

회사가 스스로 "예상보다 멀리 갔다"고 적은 항목 때문에 배포 일정을 늦춘 사례다. Z.ai는 별도로 취약점 공개 원장을 운영하고 있어서 이 판단이 즉흥적인 홍보 문구는 아닌 쪽에 가깝다.

지금 누가 쓸 수 있나

가중치가 없다는 조건이 도입 가능 범위를 그대로 가른다. 스타트업과 중견 엔지니어링 조직은 Coding Plan이나 API로 오늘 바로 붙일 수 있다. 데이터 소재지 규정이나 벤더 심사 절차가 걸린 곳은 가중치가 나올 때까지 기다리는 편이 맞다. 보안 벤더와 관제 서비스 업체는 얻을 게 가장 많고 동시에 정책 리스크도 가장 크게 진다.

용도로 보면 저장소 규모 리팩터링, 오래 도는 커맨드라인 에이전트, CI 실패 원인 추적, 화이트박스 취약점 탐색, 크래시 분류, 보안 코드 리뷰 쪽에 붙는다. 짧은 챗 응답이나 요약 같은 작업은 이번 향상과 거의 무관하다.

anyAX 관점

오픈웨이트 일정에 조건이 붙기 시작했다. 지금까지 오픈 모델의 공개일은 날짜였다. GLM-5.3은 "안전 평가가 끝나면"이다. 날짜가 아니라 관문이고 관문은 밀린다.

지금까지 오픈 가중치를 늦추는 이유는 대개 상업적이었다. 유료 API로 먼저 벌고 나중에 푼다는 식이었고 그건 예측이 됐다. 이번은 회사가 자기 모델의 특정 능력이 계획보다 세게 올라온 걸 발견해서 멈춘 경우다. 예측 대상이 시장 판단에서 평가 결과로 바뀌었다.

혼자 제품을 굴리는 쪽에서 이게 실무적으로 뜻하는 건 하나다. 가중치 다운로드를 로드맵의 마일스톤으로 박지 마라. 온프레미스 배포나 파인튜닝을 전제로 출시일을 잡아 뒀다면 2주가 4주가 되는 경우를 계산에 넣어야 맞다. 그 사이는 API로 버티는 게 현실적인 순서고, 그러려면 처음부터 API와 로컬 가중치를 갈아끼울 수 있게 짜 두는 편이 낫다.

동시에 이 발표에서 우리 쪽에 가장 직접적인 숫자는 벤치마크 순위가 아니라 50,000 대 120,000이다. 코딩 에이전트를 하루 종일 돌리는 1인 개발자에게 3위 모델과 1위 모델의 차이는 몇 퍼센트지만 출력 토큰 2.4배 차이는 매달 그대로 청구서에 찍힌다. 벤치마크를 볼 때 점수 옆의 토큰 수를 같이 읽는 습관이 필요해졌다. 두 숫자를 떼어 놓고 보면 매번 제일 비싼 모델이 제일 좋아 보인다.

Terminal-Bench가 4.6에서 28.3으로 간 것도 같은 방향을 가리킨다. 에이전트를 30분짜리 조각으로 잘라 붙여 쓰던 습관을 한번 놓고, 긴 과제 하나를 통째로 맡긴 뒤 토큰을 재 보는 쪽으로 바꿔 볼 때가 됐다. 작년까지는 그렇게 하면 중간에 길을 잃어서 잘게 써는 게 정답이었다. 그 전제가 여섯 배짜리 점수 차이로 흔들리는 중이다.

참고

• GLM-5.3 기술 블로그 (Z.ai)
• Z.ai Ships GLM-5.3 Without Retraining the Base Model (MarkTechPost)
• Z.ai debuts GLM-5.3 with long-horizon coding, cybersecurity upgrades (SiliconANGLE)
• GLM-5 저장소 (GitHub)