에이전트 메모리가 '되냐 안 되냐' 논쟁을 끝냈다: Mem0 LongMemEval 94%를 검색 한 번당 7,000토큰으로, 풀컨텍스트 25,000토큰의 3분의 1도 안 쓰고 찍었다

에이전트에 기억을 붙이는 일이 실험에서 생산 엔지니어링으로 넘어왔다. 2026년 기준 메모리에는 정식 벤치마크 세 개가 붙는다. LoCoMo(1,540문항), LongMemEval(500문항), 그리고 100만에서 1,000만 토큰 규모를 재는 BEAM이다. 셋 다 정확도만이 아니라 토큰 소비와 지연을 함께 잰다. 기억이 얼마나 맞느냐만큼 얼마를 태우느냐가 지표가 됐다.

숫자가 이 전환을 압축한다. Mem0는 토큰 효율 알고리즘으로 LoCoMo 92.5%, LongMemEval 94%대를 검색 호출당 7,000토큰 이하로 찍었다. 매 질의를 통째로 컨텍스트에 밀어 넣는 방식은 같은 일에 25,000토큰 이상을 쓴다. 다른 측정에선 토큰을 90%(질의당 1.8K 대 26K), p95 지연을 91%(1.44초 대 17.12초) 줄였다. 정확도를 지키면서 값과 대기시간을 한 자릿수로 눌렀다.

한눈에 보기

LoCoMo	Mem0 92.5%
LongMemEval	Mem0 94%대, Zep 63.8%
검색당 토큰	7,000 이하 대 풀컨텍스트 25,000+
토큰 절감	90% (1.8K 대 26K)
p95 지연 절감	91% (1.44초 대 17.12초)
자체 호스팅	월 3,870달러 (Qdrant+PostgreSQL)
매니지드	월 9,240달러 (Mem0 Pro)
생태계	프레임워크 21종, 벡터 스토어 20종

메모리가 왜 병목이었나

지난해까지 기억을 붙이는 흔한 방법은 대화 전체를 매번 컨텍스트에 다시 넣는 것이었다. 맥락은 유지되지만 질의마다 26K 안팎의 토큰이 나가고 p95 지연이 17초를 넘었다. 이 값이면 사용자가 기다리다 창을 닫고, 청구서는 사용량에 비례해 부푼다. 긴 세션과 다중 세션 회상에서 특히 무너졌다.

새 세대는 대화를 통째로 안 나르고 관련 조각만 뽑아 넣는다. 검색당 7,000토큰 이하로 같은 정확도를 내니 값과 속도가 동시에 내려간다. 기억의 정확도를 지키는 문제가 이제 검색 설계 문제로 바뀌었다.

구조를 뜯어 보면 2026년 메모리는 세 층으로 나뉜다. 방금 오간 대화를 담는 단기 컨텍스트, 사용자별 선호와 사실을 오래 쌓는 장기 저장소, 그리고 이 둘을 잇는 검색·요약 계층이다. 예전엔 이걸 통으로 프롬프트에 욱여넣었다면, 지금은 각 층을 따로 설계하고 무엇을 어느 층에 둘지 고르는 일이 핵심 작업이 됐다. 계층을 나눠야 값이 내려가고 회상이 정확해진다.

숫자는 세 갈래로 갈린다

토큰, 지연, 값이 각각 90%대로 줄었다는 게 이 분야가 성숙했다는 신호다. 정확도 한 축만 자랑하던 데모 단계를 지나 트레이드오프를 재는 단계로 왔다. LongMemEval에서 Zep은 Graphiti 그래프 구조로 63.8%를 내고, 다섯 후보 중 유일하게 SOC 2 Type 2, HIPAA, GDPR 인증을 갖췄다. Mem0는 채택량이 앞선다. 정확도 최고, 규정 준수 최고, 채택 최고가 한 제품에 몰려 있지 않다.

생태계도 넓어졌다. 프레임워크 21종, 벡터 스토어 20종에 관리형 클라우드·오픈소스 자체 호스팅·로컬 세 갈래의 호스팅 모델이 붙었다. 고를 게 많다는 건 기본값이 없다는 뜻이기도 하다.

벤치마크 숫자를 그대로 믿기 전에 한 가지는 짚고 가야 한다. LoCoMo 92.5%와 LongMemEval 94%대는 벤더가 자사 최적 설정으로 낸 값이다. 같은 스택도 내 데이터·질의 패턴에서는 다르게 나온다. 그래서 숫자보다 중요한 건 세 벤치마크가 무엇을 재는지다. 다중 세션 회상, 지식 갱신, 시간 순서 추론은 실제 에이전트가 매일 부딪히는 일이고 여기서 무너지면 사용자는 "이 봇은 어제 말한 걸 까먹는다"고 느낀다.

자체 호스팅과 매니지드가 갈리는 자리

값 차이가 결정을 가른다. 하루 1만 작업 규모에서 Qdrant와 PostgreSQL로 짠 자체 호스팅 스택은 월 3,870달러, 같은 규모의 Mem0 Pro는 월 9,240달러다. 두 배 넘게 벌어진다. 대신 자체 호스팅은 운영과 인증을 스스로 떠안고, 매니지드는 그 짐을 돈으로 던다. 규제 산업이면 인증 갖춘 매니지드가, 값과 데이터 통제가 우선이면 자체 호스팅이 앞선다.

규모별로 답이 뒤집힌다는 점도 중요하다. 하루 수백 작업 수준이면 두 스택의 절대 금액 차이가 크지 않아 운영 부담을 던 매니지드가 대개 유리하다. 트래픽이 붙어 1만 작업을 넘기기 시작하면 월 5,000달러 이상의 격차가 매달 반복되고 그때 자체 호스팅으로 옮길 여력이 있느냐가 마진을 가른다. 그래서 초기에 벡터 스토어를 갈아타기 쉽게 추상화해 두는 준비가 나중에 이사 비용을 줄인다.

anyAX 관점

기억은 이제 모델을 고르는 문제가 아니라 무엇을 남기고 무엇을 버릴지 정하는 문제다. 같은 파운데이션 모델을 쓰는 1인 SaaS 개발자 둘이 있어도, 고객과의 지난 대화·선호·실패 사례를 구조화해 검색 가능하게 쌓아 둔 쪽이 매번 처음부터 설명받는 쪽을 이긴다. 모델은 누구나 같은 걸 불러다 쓰지만 기억은 각자 다르게 쌓인다.

그러니 처음 붙일 때부터 물어야 할 질문이 바뀐다. "어느 모델이 제일 똑똑한가"가 아니라 "이 고객·이 업무에서 무엇을 기억으로 남길 가치가 있는가"다. 지난 상담에서 걸렸던 지점, 반복되는 요청, 통했던 제안을 골라 쌓으면 그게 곧 재현 불가능한 자산이 된다. 파운데이션 모델은 경쟁사도 같은 걸 부르지만 이 기억층은 내 사업에서만 자란다.

값이 이걸 1인 규모로 끌어내렸다. 하루 1만 작업에 월 3,870달러면 혼자 굴리는 에이전트도 자기 메모리 층을 직접 소유하고 데이터를 밖으로 안 넘길 수 있다. 여기서 갈림길이 생긴다. 매니지드에 얹어 빠르게 붙이고 인증까지 사 오든지, 자체 호스팅으로 값을 반으로 줄이고 고객 데이터를 손안에 두든지. 어느 쪽이든 승부는 어떤 기억을 골라 쌓았느냐에서 난다.