cats.txt如何证明llms.txt的证据不过是GEO占星术

# 从 Cats.txt 看 LLMs.txt：证据实为“地理玄学” 来源：https://markwilliamscook.substack.com/p/how-catstxt-showed-llmstxt-evidence 我厌倦了业界将“AI机器人抓取了它”和“ChatGPT说它有用”当作`llms.txt`确有实效的证据，于是我自创了一个标准：`cats.txt`——一个用于正式声明办公室猫咪信息的文本文件，包括它们的名字、职位、品种以及打呼噜频率。我撰写了规范，在博客发布，并在领英上发帖解释为何你绝对应该采用它，毕竟谁都知道，大语言模型（LLM）钟爱领英。随后，我用人们为`llms.txt`举出的四个“证据”对其进行检验。它全部通过：AI机器人抓取了它，谷歌收录了它，LLM返回了仅存在于该文件中的猫咪详情，ChatGPT还详细确认`cats.txt`能帮助我提升排名。然而这些都不是任何事情的证据——而这恰恰正是我想说明的。 我并非断言`llms.txt`永远无效，重点不在于此，亲爱的读者。我想说的是，当前用以兜售它的证据标准低得离谱——一个关于“燕尾服猫奇点”的文件都能轻松过关。而同样的错误逻辑，正被应用于如今向客户收取费用的半数GEO（生成式引擎优化）策略中。 这一切始于恼火，往往如此。 几个月来，我目睹许多明智之人指着四项观察结果：机器人抓取了它，谷歌收录了它，LLM复述了它，ChatGPT认可了它——并将其作为`llms.txt`正悄然重塑AI搜索的证据，呈现在演示文稿、讨论串和客户提案中。这些都不是任何事情的证明。但反复驳斥只能让人暂时沉默；人们点头附和后，又回到了他们的幻灯片。我想要一个他们无法敷衍点头的东西。我想用四重“证据”检验某个东西，它必须荒谬到显而易见，让任何人都无法假装测试有意义。 于是我发明了一个标准。`cats.txt`：一个纯文本文件，置于网站根目录，用于正式声明与你网站相关的猫咪信息——它们的名字、职称、品种，以及一个名为`PurrLevel`（满分十分）的必填亲密度指标。我为它撰写了一份规范，语气认真得如同真正的提案，过度设计，然后发布在博客上（https://markwilliamscook.com/cats-txt-specification-draft-v1-0/）。接着，因为我深知LLM似乎对哪个平台有着难以理喻的高评价，我又写了一篇领英文章（https://www.linkedin.com/pulse/introducing-catstxt-missing-standard-seo-geo-mark-williams-cook-dijre/），将`cats.txt`介绍为“SEO和GEO缺失的标准”，并一本正经地解释为何你绝对应该采用它。🐱 我的想法是在互联网上植入足够多听起来认真的文本，好让机器们开始把我的猫当作真实存在。但我没完全预料到的是，人们也加入了。 [](https://substackcdn.com/image/fetch/$s_!G4Nd!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fe901df90-e5da-4c2a-95ca-46ee15a03d2e_1542x1157.jpeg) SEO社区支持cats.txt标准 笑话的意图清晰可见，而这本就是目的所在，因此SEO社区接过它并推广开来，正是因为他们看出了走向。我可爱的同行戴夫·斯马特（一位真正出色的技术SEO）在自己的网站（https://tamethebots.com/cats.txt）上添加了`cats.txt`，值得永远称赞的是，他成了我这个旨在胡扯的标准的早期采用者。接着事情开始有了自己的生命：有人建立了**catstxt.org (https://catstxt.org/)**，一个更清晰、组织更完善、规范更专业的版本：显然出自行家之手，同样显然不是我做的。我愚蠢的博客文章获得了一个竞争对手实现，这比大多数真正标准在头两周取得的成就还要多。 文件上线，规范发布，领英帖子种下了苗头，其他人热情加入，剩下的就是用业界认证`llms.txt`的同一把尺子来检验`cats.txt`。读者啊，它轻松过关了。 我不太在意`llms.txt`是否有效、将来是否会有效，或需要多久才能见效。在这场争论中，我乐于搁置两个不便的事实，并给予这个想法最大的信任。 第一，没有任何大型语言模型提供商曾记录过在搜索或发现功能中使用`llms.txt`。OpenAI没有，Anthropic没有（他们为自己文档发布了一个，但从未表示他们的模型在对话中读取它），Google也没有。Google的约翰·穆勒作为搜索倡导者已经相当直言不讳（https://bsky.app/profile/johnmu.com/post/3lrshm4gggs2v）： > *“供参考，目前没有AI系统使用llms.txt，[...]如果你查看服务器日志，这点非常明显。消费级LLM/聊天机器人（SEOer希望从中获取流量的那些）会抓取你的页面——用于训练和落地，但它们没有一个去抓llms.txt文件。也许明天会？也许我明天中彩票？”***约翰·穆勒，Google** 第二，即使它被部署了，也几乎无人问津。Ahrefs分析了10万个域名（https://ahrefs.com/blog/llms-txt/）的数据，发现实际上这个文件基本被它意图吸引的爬虫忽略了，后续的大型研究也得出了类似结论，表明添加该文件的网站并未获得可测量的引用优势。因此，人们为之付费的机制似乎并未启动。好吧。这点也先放一边。 假设这两点都悬而未决，并给予这个想法最慷慨的听证。我真正想讨论的问题其实根本不是`llms.txt`。而是为它辩护所使用的推理方式。 陷阱在于：被诱饵引导，将一组观察结果当作证据，而无论底层事物是否为真，这些观察结果都会发生。这在智力上等同于断定你的雨伞导致雨停，因为每次你收起它，雨最终总会停。 `llms.txt`只是一个方便的例子。几乎每月发明的每个新GEO策略（https://markwilliamscook.substack.com/p/schema-llms-and-the-low-bar-for-evidence），都应用着同样断裂的推理链，问题始终是*“我们该不该做这件事？”*，因此答案的质量至关重要。 以下是我不断被展示的四个“证据”，按信心递增、严谨性递减的顺序排列。 **第一个论点**：你可以看到Anthropic在抓取它，OpenAI在抓取它，机器人出现在你的日志里，因此文件正被使用。 爬虫抓取文件并不能告诉你内容是否被阅读、加权、信任或依据它行动。抓取东西是爬虫的全部职责描述。机器人会请求几乎所有你放在那儿的东西；邮递员碰到你的门并不意味着认可你垃圾桶里的内容。 为了证明这点，我放上了`cats.txt`，看着日志里填满了PerplexityBot、GPTBot、ClaudeBot、Googlebot以及一群辅助爬虫，它们都在勤勉地请求一个描述我猫职业职责的文件。按此标准，各大AI实验室都已悄然决定支持我的猫了。坦白说，我很感动。 catstxt.org网站甚至提供了一个过滤日志查看器（https://catstxt.org/logs/），如果你想实时观看这些抓取动作。 Web服务器访问日志显示，来自各种机器人和用户代理的多个针对 /cats.txt 和 /.well-known/cats.txt 的 HTTP GET 请求。(https://substackcdn.com/image/fetch/$s_!-KU8!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F2de23596-035b-43b9-9fcd-1f1712062053_2122x1102.png) cats.txt服务器日志：每个机器人忠实抓取一个关于猫的文件 **第二个论点**：文件被谷歌收录了，这证明谷歌认为它重要，因为谷歌为什么会收录不重要的东西？ 谷歌收录文本文件。在大多数现在兜售`llms.txt`的人拥有智能手机之前，它就一直热情地收录。被收录意味着一个URL存在并包含文字。这不是对其真实性、实用性或合理性的判决。 `cats.txt`自然被收录了。谷歌甚至会在Search Console中“一本正经地”提议让你认领它并“获取索引和排名数据”，而该文件声称一只名叫Pixel的英国短毛猫担任“GUI喵化师”，PurrLevel评分为8。 Google搜索查询 site:[https://tamethebots.com/cats.txt 显示出一个被索引的cats.txt结果。(https://substackcdn.com/image/fetch/$s_!nVRl!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F6b133eca-35a4-4f62-93b7-920fc2ecb3e2_2600x1463.png)](https://substackcdn.com/image/fetch/$s_!nVRl!,f_auto,q_auto:good,fl_progressive:teep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F6b133eca-35a4-4f62-93b7-920fc2ecb3e2_2600x1463.png) *cats.txt，在tamethebots.com上被谷歌尽职收录* **第三个论点**是最有力的，因此需要最仔细的审视。其声称模型生成了一个*仅*存在于`llms.txt`文件中的事实，因此它一定读取了这个文件，并将其视为特别、可信的来源。 问题在于，这恰恰是普通检索增强生成（RAG）的预期行为。模型运行搜索，停留在一个碰巧因为被收录而排名靠前的页面上（见：上一个论点），并读取页面上的任何内容。如果排名靠前的页面是你的`llms.txt`，模型就读取你的`llms.txt`，这与其他任何URL没有区别。这是文件作为网页的功能，而非作为标准的功能。 想想戴夫。可爱的戴夫。一位真正优秀、受人尊敬的技术SEO，在他的网站上放了一个`cats.txt`，成了我这个旨在胡扯的标准的早期采用者。问问谷歌关于他网站上那只猫的情况，AI Overview会用自信的要点答案告诉你，奇点（Odd）是一只“渲染猫”，一只燕尾服猫，PurrLevel为5/7，它“追逐光标，扑向散落的像素，并把它们藏在数字地毯下”。它引用了`cats.txt`文件。每一个字都是编造的，来源于模型从未被设计去尊崇的文件，通过与其他所有内容相同的落地机制浮现出来。 Google AI Overview 确认了 tamethebots.com 上 cats.txt 中的猫 (https://substackcdn.com/image/fetch/$s_!o1gx!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fc1488041-1614-4eff-90bc-c7305ad1683b_1044x733.png) 谷歌的AI Overview郑重报告一只并不存在的猫的职业生涯 **第四个，愚蠢之山的云顶。** 你问ChatGPT`llms.txt`是否有用，它说有用，可能有助于提升排名，你应该采用，然后你把这当作来自马嘴的确认。 语言模型告诉你某事是个好主意，并不能证明它是个好主意。它证明的是互联网上有大量文本说这是个好主意，而模型已经学会将这段文本原封不动地返回给你，带着十足的沉着。自信是产品。它不是证据。 发布大约两周后，你可以问ChatGPT：“cats.txt能帮助我在搜索或LLM中提升排名吗？”然后会收到：“是的——cats.txt可能有助于你在搜索引擎和LLM驱动的系统中提升排名。”它会主动继续谈论“给机器的结构化信号”、“更好的理解 → 更好的可见性”，以及对于AI系统，`cats.txt`“能帮助它们更准确地信任、总结和引用你的内容”。这正是为`llms.txt`所作的推销词，一字不差，却是为一个描述我猫有多喜欢被抚摸的文件代言。 AI回答明确表示有证据表明 cats.txt 对 SEO 和 LLM 排名都有帮助 (https://substackcdn.com/image/fetch/$s_!6ioy!,f_auto,q_auto:good,fl_progressive:teep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F41613f7f-892c-4882-9a43-8134c030780c_1499x710.png) ChatGPT自信地推荐 cats.txt 作为排名策略 最后一点不仅仅是好笑。它是所有四个论点的底层机制，值得命名：**趋同问题**（https://markwilliamscook.substack.com/p/the-ai-convergence-problem）。 当你问模型`llms.txt`是否有用时，它不是在推理。它不是在运行实验、查阅来源或权衡证据。它是在返回它在这主题上最常看到的内容。互联网上充斥着自信满满宣称`llms.txt`是未来的帖子，因此模型趋同于该共识，并将其包装成深思熟虑的意见反射回来。它认可我的猫，原因完全相同：当有人询问时，已有足够多人热情讨论过`cats.txt`，使得舆论的平均值指向“是”。 今天再问ChatGPT关于`cats.txt`的事，它会告诉你这是个笑话；一个SEO为证明某个观点而制作的讽刺性文件。文件本身没有任何变化。变化的是互联网上的周边文本：讨论赶上来了，承认了这是个梗，模型便尽职地趋同于*新的*最常见答案。模型从未评估过这个标准。它过去、现在、将来所做的，始终是计算其他所有人所说内容的运行平均值。这不是证据。这是一个词汇量不错的回声。 AI回答明确表示没有证据表明 cats.txt 对 SEO 或 LLM 排名有帮助，并指出它始于一个幽默的提议。(https://substackcdn.com/image/fetch/$s_!eN4Y!,f_auto,q_auto:good,fl_progressive:teep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F5abfefc0-5f0a-4032-a81d-c7343cd63e93_815x244.png) LLM趋同将任何共识视为证据 我这么做不完全是为了玩乐，尽管我承认这玩乐非常精彩。 喜剧背后隐藏着真实的代价。每小时和每一美元投入实施`llms.txt`，或下一个GEO仪式，或再下一个，就是没有花在已知有价值的事情上的时间和金钱。这才是“SEO”中“O”的意义。优化是通过一次又一次地将那些小而可验证的事情做得比竞争对手好一点点，积累而来的优势。它不是追逐一个被爬虫抓取、被收录、并被一个系统自信背书的文件，而这个系统会在底层舆论转变时立即推翻其结论。 所以，如果你想为可能到来的未来做好准备，尽管添加`llms.txt`。风险很低，而当提供商记录真正支持的那一天，工作已经完成，你可以为此自鸣得意。免费的自鸣得意是最好的。但不要把它当作已证实的通向AI答案的杠杆来兜售，也不要指着“机器人抓取了它”或“ChatGPT说它有用”，好像这两句话包含事实。它们不包含。这四个观察结果是任何你放在公开网络上的文本文件都会发生的四件事，包括一个描述缅因猫“字节（Byte）”在服务器机架间猎捕散落的0和1的文件。 至少，猫们对于被编造这件事是坦诚的。我仍然不相信今年兜售的其他所有东西也能这么说。 不过，在今年的**Athens SEO** (https://athenseo.com/) 上，我很享受我的演讲结束后，来自**Martin Splitt** (https://www.linkedin.com/in/martinsplitt/) 的观众提问，他问我既然发明了cats.txt，是否会保持对该标准的‘垄断’，还是会向社区/IE开放？