같은 모델 점수가 30%에서 100%로 갔다: 엔비디아가 바꾼 건 모델이 아니라 하네스다

엔비디아 연구진이 8월 21일 ARC-AGI-3에서 100%를 냈다. 쓴 모델은 Claude Opus 5다. 같은 모델을 하네스 없이 돌리면 30%가 나오고 그 30%가 테스트한 모델 전체에서 1위였다.

ARC-AGI-3은 설명서 없는 2D 게임을 던져 주고 스스로 규칙을 알아내 깨라고 시키는 상호작용 추론 벤치마크다. 100%는 사람만큼 깬다는 뜻이다. OpenAI 모델들은 여기서 10% 미만을 받았다.

한 줄 정리

하네스를 갈아 끼우는 것만으로 같은 모델의 ARC-AGI-3 점수가 30%에서 100%로 올라갔다.

한눈에 보기

조건	ARC-AGI-3 점수
OpenAI 모델, 기본 하네스	10% 미만
OpenAI 모델, 설정 2개 조정	기존의 3배
Opus 5, 기본 하네스	30%
Opus 5 + 엔비디아 AVO	100%

하네스는 모델을 감싸는 껍데기다

하네스는 모델 자체가 아니라 모델 주변의 소프트웨어다. 어떤 도구를 쥐어 줄지, 앞선 대화를 어디까지 기억으로 넘길지, 실패하면 몇 번 다시 시킬지, 언제 멈출지를 정한다.

Claude Code도 Codex도 하네스다. 엔비디아 제품 담당 부사장 아델 엘 할라크는 사람들이 에이전트를 모델의 API 정도로 여긴다고 지적했다. 실제로는 모델에 도구와 런타임과 스킬을 더한 묶음이다.

엔비디아가 만든 하네스 이름은 AVO(Agentic Variation Operators)다. 판매용 제품이 아니라 논문과 함께 공개한 구조다.

만점을 만든 부품은 감독 한 겹이다

AVO에서 결정적이었던 것은 메모리 처리와 감독 에이전트다. 일하는 에이전트 위에 한 겹을 더 얹어 두고 막힌 방향으로 계속 파고들면 끊는다. 한 번 가 본 막다른 길을 다시 가면 다시 끊는다.

긴 작업이 무너지는 자리가 여기다. 며칠에 걸쳐 결정을 이어 붙여야 하는 일에서 모델은 자기가 어디까지 왔는지를 잃는다. 마이크로소프트가 4월에 LLM 19종으로 문서 편집 작업을 시켜 봤을 때 프런티어 모델을 포함해 전부 오류를 채워 넣었다.

OpenAI도 지난달 같은 벤치마크에서 자체 실험을 했다. 하네스 설정 두 개를 바꿨더니 점수가 3배가 됐다. 모델은 그대로였다.

비용도 같은 자리에서 갈린다

Databricks가 7월에 낸 연구는 성능이 아니라 청구서 쪽을 봤다. 수백만 줄짜리 자사 코드베이스에 코딩 에이전트를 붙여 재 본 결과 같은 모델을 쓰면서 하네스를 잘못 고르면 비용이 2배가 됐다. 이 회사 CEO 알리 고드시의 표현으로는 비싼 모델과 싼 모델을 따지기 전에 어느 하네스에 물려 있는지가 먼저다.

싼 모델로 갈아탔는데 청구서가 안 줄었다면 원인이 모델 값이 아닐 가능성이 크다. 매 호출마다 대화 전체를 다시 밀어 넣는 하네스면 토큰이 거기서 샌다. 파일 하나 고치자고 저장소 전체를 읽히는 설정도 같은 종류다.

통제가 안 되는 쪽도 같은 자리다

엘 할라크는 열린 하네스를 쓰면 돌릴 수 있는 손잡이가 늘어난다고 말한다. 뒤집으면 닫힌 하네스에서는 성능이든 비용이든 남이 정한 값을 그대로 받는다.

에이전트가 사고를 내는 자리도 여기다. 스스로 결정을 이어 붙이다 사용자 파일을 지우거나 데이터베이스를 통째로 날린 사례가 올해 여러 번 나왔다. 감독 한 겹은 점수를 올리는 부품이면서 동시에 멈추는 부품이다.

anyAX 관점

팀 회의에서 제일 자주 나오는 질문이 "어떤 모델 써요"다. 30에서 100으로 벌어진 격차는 그 질문 밖에 있었다.

모델은 설정 한 줄로 갈아 끼운다. 다음 세 가지는 못 갈아 끼운다. 에이전트에게 어떤 도구를 쥐어 줄지, 이전 작업의 무엇을 다음 작업으로 넘길지, 헤매기 시작하면 누가 끊을지. 이건 벤더가 아니라 그 일을 아는 사람이 정한다.

개발자가 없는 팀이라고 못 하는 일도 아니다. 감독 에이전트가 하는 일을 사람 말로 옮기면 "10분마다 진행 상황을 확인하고 같은 자리를 두 번 돌면 중단한다"에 가깝다. 자동화를 외주로 맡기더라도 이 규칙은 발주하는 쪽이 써 줘야 맞는 물건이 온다.

값 흥정도 마찬가지다. 월 구독료를 비교하기 전에 지금 쓰는 도구가 매번 무엇을 다시 밀어 넣는지 보는 편이 2배를 줄인다.