llms-txt

Google 的 Chrome Lighthouse 现在在其新的 Agentic Browsing 类别中包含了对 llms.txt 文件的审计，评估网站对 AI 代理的适配程度。

一位开发者通过修复robots.txt、添加llms.txt、改进语义HTML等方式优化网站以适应AI爬虫，次日AI流量增长了12倍。