고양이 명세서가 llms.txt와 똑같은 증거 네 개를 다 통과했다

Mark Williams-Cook은 사이트 루트에 올리는 텍스트 파일 규격을 하나 만들었다. 이름은 cats.txt다. 회사 고양이의 이름과 직책, 품종, 그리고 10점 만점의 PurrLevel이라는 애정 지표를 선언한다. 명세서를 제대로 써서 블로그에 올리고 LinkedIn에 "SEO와 GEO에 빠져 있던 표준"이라는 소개 글까지 붙였다.

그다음 이 파일에 llms.txt가 효과 있다고 주장할 때 쓰이는 근거 네 가지를 그대로 적용했다. 네 개 전부 통과했다.

한 줄 정리

어떤 주장이 거짓이어도 똑같이 관측되는 현상은 그 주장의 증거가 아니다.

한눈에 보기

네 개가 왜 증거가 아닌가

크롤러가 파일을 가져갔다는 사실은 그 내용을 읽고 가중치를 주고 신뢰했다는 뜻이 아니다. 가져가는 게 크롤러의 직무 전체다. 공개된 웹에 올려 둔 것은 거의 다 요청한다.

색인도 마찬가지다. 구글은 20년 넘게 텍스트 파일을 색인해 왔다. 색인에 있다는 건 그 URL이 존재하고 글자가 들어 있다는 진술이지 유용성이나 진위에 대한 판정이 아니다.

세 번째가 제일 그럴싸해 보인다. 그 파일에만 있는 정보를 모델이 답했으니 특별한 출처로 읽은 것 아니냐. 평범한 검색 증강 생성(RAG)이 하는 일이 정확히 그거다. 모델이 검색을 돌리고 색인된 페이지에 도착해 거기 적힌 걸 읽는다. 그 페이지가 마침 llms.txt면 다른 URL과 똑같이 읽힐 뿐이다. 표준으로 작동한 게 아니라 웹 페이지로 작동했다.

네 번째는 가장 흔하고 가장 약하다. ChatGPT에게 "이거 효과 있어?"라고 물어 받은 긍정이 근거가 되는 경우다.

2주 만에 답이 뒤집힌 이유

cats.txt 공개 두 주 뒤 저자가 ChatGPT에 물었다. "cats.txt가 검색이나 LLM 순위에 도움이 될까?" 답은 이랬다. "네, cats.txt는 검색엔진과 LLM 기반 시스템 양쪽에서 순위에 도움이 될 수 있습니다." 이어서 기계를 위한 구조화된 신호, 더 나은 이해와 더 나은 노출, AI가 콘텐츠를 신뢰하고 인용하는 데 도움 같은 말이 붙었다. llms.txt 홍보 문구를 단어 단위로 옮겨 온 문장이다.

오늘 같은 질문을 하면 답이 다르다. 농담으로 만들어진 파일이라고 정확히 말한다. 파일은 하나도 안 바뀌었다. 바뀐 건 그 주변에 쌓인 글이다. 담론이 농담임을 인정하자 모델이 새 평균으로 이동했다.

이게 마케팅 판단을 모델에 물으면 안 되는 이유다. 모델은 실험을 돌리거나 출처를 확인하지 않는다. 그 주제에 대해 가장 많이 쓰인 문장을 되돌려 준다. 열정적인 글이 많으면 열정이 돌아온다.

반대편 사실도 같이 봐야 공평하다

llms.txt 자체가 무용하다는 결론은 이 실험에서 나오지 않는다. 다만 별개로 확인된 사실이 몇 개 있다.

어떤 LLM 제공사도 이 파일을 검색이나 발견에 쓴다고 문서화한 적이 없다. Anthropic은 자사 문서용으로 하나 발행해 두었지만 모델이 대화 중에 그걸 읽는다고 말한 적은 없다. 구글의 John Mueller는 더 직설적이었다. 현재 어떤 AI 시스템도 llms.txt를 쓰지 않으며 서버 로그를 보면 그게 훤히 보인다고 했다. 챗봇들은 페이지는 가져가도 llms.txt 파일은 건드리지 않는다. Ahrefs가 10만 개 도메인을 분석한 결과도 같은 방향이었다. 실제로는 대상 크롤러들이 이 파일을 거의 무시했고 인용 우위도 측정되지 않았다.

파일을 올려 두는 비용은 낮다. 언젠가 지원이 문서화되면 미리 해 둔 셈이 된다. 문제는 그걸 검증된 지렛대로 파는 쪽이다.

anyAX 관점

지금 마케팅 담당자 자리에 GEO 제안서가 쌓이고 있다. 항목마다 근거로 붙는 문장이 대개 저 네 개 중 하나다.

cats.txt가 준 건 llms.txt에 대한 판정이 아니라 견적서에 대고 쓸 질문 하나다. 이 관측은 그 주장이 틀렸어도 똑같이 나오는가. 봇이 가져갔다, 색인됐다, AI가 우리 이름을 말했다. 세 문장 다 존재하지 않는 고양이 Odd에 대해서도 똑같이 참이었다.

Ahrefs가 10만 도메인을 재기 전까지 이 판에는 숫자가 없었다. 그 자리를 스크린샷과 자신감이 채웠다. 대행사를 탓할 일만은 아니다. 이 시장에서 우리가 사는 것은 대부분 검증이 아니라 확신이다. 확신은 만들기 싸다. 모델이 2주 만에 정반대 답을 태연하게 내놓는 걸 보면 값이 얼마나 싼지 짐작이 간다.

한 시간과 1달러가 여기 들어가면 효과를 아는 다른 일에서 빠진다. 그 계산이 최적화의 정의에 더 가깝다.

참고

• How cats.txt showed llms.txt evidence is GEO astrology (Mark Williams-Cook)
• cats.txt 규격 초안 v1.0
• 10만 도메인에서 llms.txt가 실제로 어떻게 쓰이는지 측정한 분석 (Ahrefs)
• How Cats.txt Showed LLMs.txt Evidence Is GEO Astrology (Search Engine Journal)