Google 在 Chrome Lighthouse 中新增 llms.txt 检查(5 分钟阅读)
摘要
Google 的 Chrome Lighthouse 现在在其新的 Agentic Browsing 类别中包含了对 llms.txt 文件的审计,评估网站对 AI 代理的适配程度。
Google 在 Chrome 的 Lighthouse 审计中引入了 llms.txt 检查,归类于“Agentic Browsing”类别,以增强机器与网站的交互。
查看缓存全文
缓存时间: 2026/05/21 18:15
# Google 在 Chrome Lighthouse 中增加了 llms.txt 检查
来源:https://searchengineland.com/google-llms-txt-chrome-lighthouse-478246
Google 新的 Lighthouse“代理浏览”审计现在会检查是否存在 llms\.txt 文件。新的实验性 Lighthouse 文档将 llms\.txt 视为 AI 代理的可发现性和效率信号,而非传统的爬取指令。
- 这些审计属于 Chrome 新出现的“代理浏览”类别,该类别评估网站是否针对机器交互进行了结构化设计。
- 该文档发布不到一周前,Google 发布了关于优化 AI 搜索功能(如 AI Overviews 和 AI Mode)的新指南,并在其关于优化生成式 AI 功能的新指南(https://searchengineland.com/google-publishes-guide-on-optimizing-for-generative-ai-features-477671)中辟谣部分指出,你不需要 llms\.txt 文件。
**Lighthouse 现在检查的内容。** Google 的文档指出,Lighthouse 的代理浏览类别通过确定性审计评估“你的网站在机器交互方面的构建程度”。检查内容包括:
- WebMCP 集成。
- 无障碍树完整性。
- 通过 CLS 实现的布局稳定性。
- 是否存在 llms\.txt 文件。
Lighthouse 检查“域根目录下是否存在机器可读的摘要”。Google 还解释了该文件对代理的重要性:
> “如果没有 llms\.txt,代理可能会花费更多时间爬取网站以了解其高层结构和主要内容。”
该审计类别不会产生传统的 Lighthouse 评分(0-100)。相反,Google 会显示一个分数通过率以及通过/失败检查,这些检查与代理就绪信号相关。
**矛盾之处。** 新的 Lighthouse 文档并未直接与 Google 关于优化网站以适应生成式 AI 功能的建议相冲突,因为这些审计侧重于 AI 代理和浏览器工具,而非 Google 搜索排名。然而,看到 Chrome 自身的就绪检查中提到 llms\.txt 可能会让一些 SEO 重新思考之前对该文件的怀疑。
**代理引擎优化。** Lighthouse 审计也与 Google Cloud AI 工程总监 Addy Osmani 在4月提出的关于代理引擎优化的想法(https://searchengineland.com/agentic-engine-optimization-google-ai-director-474358)相一致。Osmani 表示,上下文窗口有限的 AI 代理可能会截断长页面或错过深埋在内容中的重要信息。他的建议包括:
- 更清晰的语义结构。
- 令牌高效的内容。
- Markdown 交付。
- llms\.txt 发现层。
- 能力信号文件,如 AGENTS\.md。
**SEO 与 llms\.txt。** 以下是 Google 在关于生成式 AI 搜索辟谣:你不需要做什么(https://developers.google.com/search/docs/fundamentals/ai-optimization-guide)中的确切建议:
- **LLMS\.txt 文件和其他“特殊”标记**:你不需要创建新的机器可读文件、AI 文本文件、标记或 Markdown 来出现在生成式 AI 搜索中。请注意,除了 HTML 之外,Google 可能会发现、爬取和索引网站上的多种文件:这并不意味着该文件会被特殊对待。
以下是 Google 的 John Mueller 在回应 Lily Ray(https://bsky.app/profile/lilyray.nyc/post/3mmaio3nogk2d)在 Bluesky 上向他提问时所说的,关于 Google 使用 llms\.txt 的问题:“嘿 @johnmu\.com – 如果你能回答,很多人指出 Google 使用 LLMs\.txt 文件和 Markdown 页面是讽刺的,尽管他们也说这些东西在搜索中是不需要的。你能分享一下 Google 为什么可能会发布这些文件吗,如果这不是为了让代理更容易爬取那些页面/网站?(我肯定很快就会收到大量这个问题!)”
> 简短的回答是:这不是为了搜索而做的。网站不仅仅是关于 SEO :-\)。更长且更细致的版本是:值得将“发现”(通过全局搜索引擎找到网站或页面)与“功能”(可能有一个更准确的术语,但基本上:一旦有人找到页面,帮助他们最好地完成他们想要完成的任务)分开。也许这类似于传统页面上的 CTA?你“做这些”不是为了 SEO(为了被找到),但如果你对整个网站负责,确保高“发现率”(SEO)以及高转化率有助于证明你的工作价值。回到 developers\.google\.com 网站,AI 编码变得非常流行,如果这些编码系统能够轻松读取/解析参考材料(例如开发者文档),它们可以(我认为)高效且准确地生成代码。在这种情况下,帮助它们了解所查看文档的上下文,以及提供参考页面的简化版本(例如 Markdown 格式)可能会有所帮助。当然,它们可以很好地读取 HTML,所以我认为这更多是一种临时拐杖,也许是为了节省一些令牌。对于非开发者网站,我认为这没什么意义,即使未来有更多的代理流量(如果你检查你的日志,目前你并没有得到很多这样的流量)。为鞋子的规格制作 Markdown 版本不会带来更多销量(竞争对手倒是会喜欢)。而且(我知道,没人会读到这里),如果你认为这对为代理无处不在的未来做准备很重要:你的网站(所有网站)在 SEO 方面有比为一个可能发生也可能不发生的潜在未来情况做准备更重要的事情要做。在梦想之前,优先考虑需求。
**Google 表示代理依赖什么。** 除了 llms\.txt,Google 的新 Lighthouse 类别还特别强调无障碍性和界面稳定性。文档指出,代理将无障碍树作为其“主要数据模型”。Lighthouse 特别评估:
- 交互元素的编程标签。
- 有效的无障碍树结构。
- 交互内容是否对辅助系统隐藏。
- 通过 CLS 实现的布局稳定性。
Google 还警告说,动态注册的 WebMCP 工具和大型 DOM 更改可能会影响审计结果。
**为什么我们关心。** Google 说你不需要 llms\.txt 进行搜索,但 Chrome 现在正在检查该文件是否存在。与此同时,Google 的代理工具似乎偏爱那些更易于机器读取和使用的网站,尤其是那些具有良好无障碍性、稳定布局和清晰代理访问的网站。
**Google 的帮助文档。** Lighthouse 代理浏览评分(https://developer.chrome.com/docs/lighthouse/agentic-browsing/scoring)
**深入阅读。**
- 认识 llms\.txt,AI 网站内容爬取的提议标准(https://searchengineland.com/llms-txt-proposed-standard-453676)
- llms\.txt 不是 robots\.txt:它是 AI 的藏宝图(https://searchengineland.com/llms-txt-isnt-robots-txt-its-a-treasure-map-for-ai-456586)
- llms\.txt 重要吗?我们追踪了10个网站来找出答案(https://searchengineland.com/does-llms-txt-matter-467740)
##### 本页主题
---
*Search Engine Land 由 Semrush(https://www.semrush.com/)所有。我们仍然致力于提供高质量的营销主题报道。除非另有说明,本页内容由 Semrush(https://www.semrush.com/)Inc. 的员工或付费撰稿人撰写。*
---
### 关于作者
Danny Goodwin
Danny Goodwin
Danny Goodwin 是 Search Engine Land 和 Search Marketing Expo - SMX(https://searchengineland.com/smx)的编辑总监。他于2022年作为高级编辑加入 Search Engine Land。除了报道最新的搜索营销新闻外,他还管理 Search Engine Land 的 SME(主题专家)项目。他还协助策划美国 SMX 活动。
Goodwin 自2007年以来一直编辑和撰写关于搜索和数字营销的最新发展和趋势。他曾担任 Search Engine Journal 的执行编辑(2017年至2022年)、Momentology 的管理编辑(2014年至2016年)以及 Search Engine Watch 的编辑(2007年至2014年)。他在许多主要的搜索会议和虚拟活动中发表过演讲,并且其专业知识被众多出版物和播客引用。
相似文章
我构建了AgentLighthouse——一个本地的“AI代理灯塔”,用于扫描仓库/文档/API以评估代理就绪状态
AgentLighthouse 是一个本地优先的工具,用于扫描仓库、文档和API,评估AI编码代理(如 Codex、Claude Code、Cursor)能够多大程度上理解和正确使用一个项目。它会检查代理指令文件、文档质量、设置清晰度、OpenAPI 操作质量、MCP 工具描述等。
通过行为识别:利用UI痕迹对LLM浏览器代理进行指纹识别
本文证明,网站可以通过分析浏览代理的行为模式和时序数据,识别其背后的大语言模型,在14个前沿LLM上实现了高达96%的F1分数。本文正式定义了这一攻击面,并表明随机时序延迟不足以阻止识别。
借助 Chrome 的 AI 模式探索网页的全新方式
Google 更新了 Chrome 的 AI 模式,允许用户在无需切换标签页的情况下,借助 AI 辅助并排浏览网页内容,并新增了搜索近期标签页和文件的功能,以提供更深入的上下文信息。
AI标注系统成败在此一举
谷歌正在将SynthID和C2PA内容凭证验证扩展到Chrome和搜索中,同时OpenAI将SynthID嵌入其工具生成的图像中,这标志着在让AI生成内容更易于在线检测方面的一次重大推进。
你猜怎么着?如果你是Chrome用户,从技术上讲,你就是localllama成员!
Google Chrome正在悄悄地在用户设备上安装一个4GB的Gemini Nano AI模型,未获得明确同意,也没有退出的用户界面,引发了重大的隐私、法律和环境问题。