AI 에이전트의 기억이 모델 밖으로 나왔다
mem0가 토큰 90% 줄이고 LoCoMo 92.5점
에이전트 메모리가 컨텍스트 윈도 밖 별도 아키텍처 부품으로 자리 잡았다. mem0는 풀 컨텍스트 대비 토큰 90%, 지연 91%를 줄이면서 LoCoMo 92.5점을 냈다. 모델이 평준화된 시대에 쌓인 맥락이 해자가 된다.
2026년의 에이전트 설계에서 기억은 더 이상 컨텍스트 윈도 안에 밀어 넣는 것이 아니다. 별도의 아키텍처 부품이 됐다. 대화가 오가는 동안 사실을 뽑아내 벡터 데이터베이스에 저장하고 사용자·세션·에이전트 단위로 색인한다. 새 세션이 열리면 의미 유사도와 키워드, 개체명 매칭으로 관련 기억을 찾아 모델이 답하기 전에 컨텍스트에 주입한다.
숫자로 보면 효과가 분명하다. mem0의 2026년 4월 알고리즘은 LoCoMo에서 92.5점, LongMemEval에서 94.4점을 기록했다. 쿼리당 토큰은 약 6,900개. 풀 컨텍스트 방식과 비교하면 토큰 비용이 90% 낮고 p95 지연은 풀 컨텍스트의 17.12초에서 1.44초로 떨어졌다.
한눈에 보기
| LoCoMo 정확도 | 92.5 (2026년 4월 알고리즘) |
| LongMemEval | 94.4 |
| 토큰 비용 | 풀 컨텍스트 대비 90% 감소 |
| p95 지연 | 1.44초 (풀 컨텍스트 17.12초) |
| 쿼리당 토큰 | 약 6,900개 |
기억은 별도 부품이 됐다
핵심은 기억을 모델의 컨텍스트 윈도와 떼어 냈다는 점이다. 매 대화에서 사실을 추출해 벡터 데이터베이스에 넣고 사용자·세션·에이전트로 색인한 뒤, 다음 세션에서 필요한 조각만 꺼내 주입한다. 그래서 매번 처음부터 시작하지 않는다. 개선 폭이 가장 큰 항목이 시간 추론(+29.6)과 멀티홉 추론(+23.1)인 것도 이 때문이다. 둘 다 상태를 기억하지 못하는 챗봇이 늘 무너지던 지점이다.
왜 컨텍스트 윈도에 다 밀어 넣지 않느냐는 반문이 나올 수 있다. 이유는 두 가지다. 첫째, 대화가 길어지면 넣을 정보가 윈도 한도를 넘는다. 둘째, 넘지 않더라도 전부 넣으면 매 호출마다 토큰을 통째로 다시 계산해 비용과 지연이 함께 커진다. 앞의 수치가 그 차이를 보여 준다. 풀 컨텍스트가 쿼리당 2만 6천 토큰을 쓸 때 기억 층은 관련 조각만 골라 수천 토큰으로 같은 답을 낸다. 필요한 것만 기억하고 나머지는 버리는 편집이 곧 성능이다.
MCP로 이식 가능해진다
기억이 특정 도구에 갇히지 않는 흐름도 뚜렷하다. 오픈소스 AgentMemory는 GitHub 스타 5,880개를 넘겼고, 제공 패키지가 도구 53개를 노출해 MCP나 HTTP로 말하는 어떤 에이전트와도 붙는다. 서버 하나로 여러 에이전트가 같은 기억을 공유한다. mem0는 Python과 TypeScript에서 21개 프레임워크로 확장됐다. 기억이 한 앱에 묶이지 않고 옮겨 다니는 인프라 층이 되고 있다.
이 표준화가 중요한 이유가 있다. 기억이 앱마다 다른 형식에 갇혀 있으면 도구를 바꿀 때 지금까지 쌓은 맥락이 통째로 날아간다. MCP 같은 공용 규격으로 묶이면 코딩 에이전트에서 얻은 맥락을 지원 봇이 이어받는다. 모델을 갈아 끼워도 기억은 그대로 남는다. 모델은 갈수록 교체 가능한 부품이 되는데 그 위의 기억은 반대로 자산으로 굳는다.
anyAX 관점
프론티어 모델 여러 개가 품질에서 서로 근접했다. 이달만 봐도 주목할 만한 새 모델이 사흘에 하나꼴로 나온다. 모델이 평준화될수록 갈아 끼우기 쉬운 부품이 되고 바꾸기 어려운 건 그 위에 쌓인 맥락이다. 1인 SaaS 개발자나 AI 에이전시가 만들 수 있는 전환 비용은 모델이 아니다. 몇 달치 고객 맥락을 아는 기억 층이다. 경쟁자가 같은 모델을 써도 당신 에이전트가 각 고객에 관해 축적한 기억은 복제하지 못한다.
프리랜서 마케터를 대신해 카피를 쓰는 에이전트를 예로 들자. 처음엔 어떤 모델을 붙이든 결과가 비슷하다. 그런데 6개월을 쓰면 이 에이전트는 그 마케터가 어떤 표현을 싫어하는지, 어느 고객사가 어떤 톤을 고집하는지, 지난 캠페인 중 무엇이 먹혔는지를 안다. 그 축적이 경쟁 제품과의 진짜 격차다. 모델을 최신으로 바꿔도 이 기억은 그대로 따라온다. 반대로 기억을 안 쌓으면 6개월 뒤에도 첫날과 똑같은 도구다.
곁다리로 토큰 90% 절감은 종량제 청구서에서 곧장 마진으로 돌아온다. 그러나 진짜 자산은 비용이 아니라 소유권이다. 모델은 빌리는 것이고 기억은 쌓는 것이다. 어디에 시간을 넣을지가 여기서 갈린다.