PDF 넣고 안 되길래 접었던 그 일: 같은 모델로 정답률이 26.7%에서 86%로 갔다

계약서 200장을 챗봇에 넣고 "3분기 실효세율이 얼마냐"고 물어본 적이 있다면 결과도 짐작이 간다. 그럴듯한 숫자가 나오고 확인해 보면 틀려 있다. 대부분은 여기서 접는다. 모델이 아직 멀었다고 결론 내리면서.

Mistral이 8월 20일 낸 Agentic Search 벤치마크는 다른 원인을 가리킨다. 재무보고서 질문 세트에서 정답률이 26.7%에서 86%로 올라갔다. 모델을 바꾸지 않고 꺼내는 방식만 바꾼 결과다.

한 줄 정리

한 번 검색하고 답하던 구조를 검색하고 열어 보고 다시 검색하는 반복으로 바꾸자 같은 모델의 문서 정답률이 세 배가 됐다.

한눈에 보기

벤치마크	한 번 꺼내기	검색 반복	반복 + 탐색 도구
FinanceBench (SEC 서류 368건, 약 5만 3,900쪽)	26.7%	+47.3pp (Mistral Medium 3.5)	최종 86%
OfficeQA Pro (재무부 회보 696건, 약 8만 9천 쪽)	6.3%		51.9% (GLM-5.2, +45.6pp)
p90 지연		255초	154초
토큰 사용		기준	23.9~33.7% 감소

한 번 꺼내는 구조가 무너지는 지점

지금 대부분의 문서 질의응답은 한 번에 끝난다. 질문을 벡터로 바꿔 비슷한 조각 몇 개를 뽑고 그걸 모델에 넘긴다. 답이 그 조각 안에 있으면 맞고 없으면 지어낸다.

문제는 실제 문서가 그렇게 생기지 않았다는 데서 온다. FinanceBench의 서류는 한 건 평균 147쪽이다. 실효세율은 본문 서술이 아니라 뒤쪽 표의 한 칸에 있고, 그 칸의 의미는 위아래 행과 각주를 같이 봐야 정해진다. 조각으로 잘린 상태에서는 그 맥락이 이미 사라져 있다.

Mistral이 붙인 도구는 파일 다루는 손동작을 그대로 옮겨 놓았다. search로 찾고 open으로 열고 navigate로 해당 절이나 페이지로 가고 read로 읽고 grep으로 문서 안에서 패턴을 찾는다. 사람이 PDF 뷰어에서 하는 순서 그대로다.

효과가 갈리는 지점이 흥미롭다. 가장 큰 상승은 화려한 도구가 아니라 그냥 여러 번 검색하게 둔 것에서 나왔다. 한 번에서 반복으로 바꾸는 것만으로 Mistral Medium 3.5가 47.3포인트, GLM-5.2가 52.6포인트 올랐다. 첫 검색 결과가 나쁠 때 질문을 고쳐 다시 던질 수 있느냐가 절반 이상을 갈랐다.

열고 훑는 도구를 더 붙이면 6.7~8.7포인트가 추가된다. 크지 않아 보이지만 여기서 토큰이 오히려 줄었다. 반복 검색으로 헤매던 걸 정확한 위치로 바로 가는 동작이 대체하기 때문이다. p90 지연은 255초에서 154초로 떨어졌다.

껍데기가 점수를 바꾼다

이 발표에서 가장 불편하고 유용한 숫자는 따로 있다. 같은 GLM-5.2 모델이 OfficeQA Pro에서 Claude Code 하네스로는 41.4%, Mistral 하네스로는 51.9%를 받았다. 모델은 한 글자도 안 바뀌었고 감싸는 구조만 달랐는데 10.5포인트 차이가 났다.

모델 비교표를 볼 때 이 사실을 기억해 둘 만하다. 우리가 보는 점수는 모델 점수가 아니라 모델과 그걸 감싼 도구의 합산 점수다. 어느 쪽 몫인지는 표에 안 적혀 있다.

Mistral은 이 도구들이 모델별 파인튜닝을 요구하지 않는다고 밝혔다. 모델이 추론과 도구 사용을 잘하게 될수록 검색 품질이 따라 오른다는 뜻이다. 조각 나누는 전략에 성능이 갇히던 구조와는 방향이 반대다.

다 이걸 써야 하는 건 아니다

Mistral 자신이 선을 그어 뒀다. 짧고 깨끗한 문서에서 답이 첫 검색 결과에 나올 만한 질문, 대량 키워드 조회, 답이 어디 있는지 미리 아는 예측 가능한 질문에는 기존 방식이 낫다. 반복은 그만큼 시간과 돈을 쓴다.

Agentic Search가 값을 하는 자리는 좁다. 긴 문서 안 특정 표나 조항, 여러 문서를 비교해야 답이 나오는 질문, 그리고 답을 출처 위치로 되짚어 확인해야 하는 경우.

anyAX 관점

이 발표가 실무에 주는 건 제품이 아니라 진단 기준이다. 사내 문서에 AI를 붙였다가 정확도 때문에 접은 팀이 지금 다시 물어야 할 질문은 "어느 모델을 쓸까"가 아니다. "우리 시스템이 한 번 꺼내고 마는가"다.

26.7%와 86% 사이에 모델 교체는 없었다. 5만 3,900쪽짜리 서류 더미에서 두 배 좋은 모델을 찾느라 쓴 시간이 있다면, 그 시간의 일부는 검색을 두 번 하게 만드는 데 썼어야 했다.

숫자 하나만 더 보자. 6.3%에서 51.9%. 스캔된 재무부 회보 8만 9천 쪽에서 나온 값이다. 51.9%는 여전히 절반이라 사람 검수 없이 그대로 쓸 수 없다. 하지만 6.3%는 아예 도입 검토조차 안 되는 값이고 51.9%는 사람이 확인하는 초안으로 쓸 수 있는 값이다. 자동화가 되느냐 안 되느냐의 경계가 아니라, 사람이 처음부터 찾을 것이냐 검토만 할 것이냐의 경계가 여기서 갈린다.

계약서 검토를 외주 주는 5인 사무소라면 이 차이가 곧 견적 차이다.