robots-txt

对排名前10000的网站的robots.txt文件研究发现，大多数网站阻止了像GPTBot这样的AI训练爬虫，却很大程度上忽略了像OAI-SearchBot这样的实时回答机器人，突显了当前网络在AI治理方面的盲点。

对 34 个网站上 1100 万爬虫日志的分析揭示了不同行为：GPTBot 无视 robots.txt 持续抓取；Google 的爬虫频繁检查规则；ClaudeBot 的抓取速度正在快速提升；Bytespider 是最重的爬虫。这些发现表明，SEO 正从以 Google 为中心转向针对 AI 智能体的页面选择进行优化。

本文探讨了AI编程助手如何使普通大众能够进行大规模网页抓取，由此引发了关于忽略robots.txt和速率限制的道德问题，并对AI提供者的责任提出质疑。

关于 AI 代理在生成爬虫时忽视 robots.txt 等网站规则的伦理挑战，以及 AI 提供商在不妨碍产品可用性的前提下实施护栏的责任的评论。

一位开发者通过修复robots.txt、添加llms.txt、改进语义HTML等方式优化网站以适应AI爬虫，次日AI流量增长了12倍。

Amazonbot，亚马逊的网络爬虫机器人，现已遵守robots.txt指令，这标志着其先前行为的改变。