1위 모델이 문서 과제의 33.2%만 통과했다
순위표가 실무 쪽으로 옮겨왔다
Artificial Analysis가 지수 v4.2에서 비공개 문제 비중을 40%로 두 배 올렸다. 새로 들어온 문서 추론 평가에서 최고 점수가 33.2%다. 순위표가 재는 대상이 시험 문제에서 실무 과제로 옮겨가는 중이다.
모델 순위표를 보고 도구를 고르는 사람이라면 기준이 바뀐 걸 먼저 알아야 한다. Artificial Analysis가 9월 4일 지능 지수 v4.2를 냈다. 1월 v4 이후 8개월 만이다.
바뀐 항목이 셋이다. 비공개 문제인 AA-Briefcase를 넣고, Surge AI가 만든 문서 추론 평가 GDP.pdf를 넣고, 포화됐다고 판단한 GPQA Diamond를 뺐다. 그리고 전체 가중치 중 비공개로 보관된 문제의 비중을 40%로 올렸다. v4.1의 두 배다.
한 줄 정리
시험지가 공개돼 있으면 점수를 만들 수 있으니 문제의 40%를 감췄고 남은 문제도 실무 과제 쪽으로 바꿨다.
한눈에 보기
| 발표 | 2026년 9월 4일 |
| 추가 | AA-Briefcase, GDP.pdf |
| 제외 | GPQA Diamond (포화) |
| 비공개 문제 가중치 | 20% → 40% |
| GDP.pdf 최고 점수 | GPT-6 Astra 33.2% |
새 평가 둘이 재는 건 시험이 아니라 프로젝트다
AA-Briefcase는 업계 전문가가 짠 몇 주짜리 지식 노동 프로젝트를 준다. 과제가 여러 개 엮여 있고 입력 파일이 수천 개다. 채점은 루브릭과 쌍대 비교를 섞어 과제 달성, 분석 품질, 표현 품질을 함께 본다.
GDP.pdf는 결이 다르다. 10개 분야 PDF 100건, 합쳐서 4592쪽에 흩어진 근거를 하나로 엮게 시킨다. 표, 차트, 각주, 제외 조항이 다 섞여 있다. 채점 기준은 전문가가 쓴 1275개 원자 항목이고, 대표 점수인 전항목 통과율은 기준 하나라도 놓치면 0으로 친다.
여기서 나온 숫자가 33.2%다. GPT-6 Astra가 1위, GPT-5.6 Sol이 28.2%, Claude Fable 5.1이 26.2%다. 지수 종합 순위는 Fable 5.1이 1위고 Astra가 그 뒤다.
33.2%를 어떻게 읽을지가 갈린다
전항목 통과율은 가혹한 기준이다. 실무에서는 기준 스무 개 중 열아홉 개를 맞히면 대개 쓸 만한 결과물이 된다. 그러니 33.2%를 "세 번에 두 번은 못 쓴다"로 읽으면 과장이다.
대신 이렇게 읽는 편이 정확하다. 4592쪽에서 근거를 모아 놓친 항목 없이 끝내는 일은 지금 어느 모델도 세 번에 한 번 남짓이다. 그래서 긴 문서 더미를 다루는 업무에서 사람이 어디를 확인할지가 여전히 설계 대상으로 남는다. 확인 지점을 안 정하면 놓친 한 항목이 그대로 나간다.
AA-Briefcase 쪽 순위는 또 다르다. Claude Fable 5.1과 Opus 5가 앞서고 GPT-6 Astra와 Muse Spark 1.3이 뒤를 잇는다. Astra는 GPT-5.6 Sol보다 약 85 Elo 점 앞섰다. 문서 추론에서 1위인 모델과 몇 주짜리 프로젝트에서 1위인 모델이 다르다는 뜻이다. 순위표 하나를 보고 하나만 고르는 방식이 여기서 깨진다.
비공개 비중 40%가 실제로 바꾸는 것
시험 문제가 공개돼 있으면 그 문제에 맞춰 학습할 수 있다. 순위표 제작자가 문제의 40%를 감추기로 한 이유가 그거다. v5에서는 이 비중을 더 올린다고 예고했다.
바꿔 말하면 지금까지 공개 벤치마크 점수만으로 모델을 비교한 결과는 실제 능력보다 후하게 나왔을 가능성이 있다. 순위가 크게 흔들리지 않았다는 점은 다행이지만, 점수의 절대값을 신뢰도 그대로 쓰는 습관은 조정할 만하다.
anyAX 관점
순위표 회사가 스스로 문제를 감췄다는 사실이 이번 발표의 핵심이다. 밖에서 볼 수 있는 지표는 최적화 대상이 되고, 최적화되면 원래 재려던 걸 못 잰다. 그걸 아는 쪽이 먼저 40%를 감췄다.
같은 구조가 작은 회사 안에도 있다. 콘텐츠 팀이 발행 건수를 보면 짧은 글이 늘고 응답 시간을 보면 답이 짧아진다. 감추라는 얘기가 아니라 팀에 안 보여 주는 확인용 표본을 따로 두라는 뜻이다. 매주 무작위 다섯 건을 뽑아 결과물을 직접 읽는 정도로 충분하다.
모델 선택에도 그대로 적용된다. 33.2%는 공개된 문제로 잰 값이 아니라 실무형 과제로 잰 값이고, 그래도 우리 회사 문서로 잰 값은 아니다. 계약서든 정산 자료든 상담 로그든 자기 문서 20건을 골라 후보 모델 둘에 같은 질문을 던지는 하루가 순위표 한 달치보다 낫다. 4592쪽짜리 평가를 만든 쪽도 결국 자기 문제를 만들었다.