robots-txt

Meta 更新后的商业条款将于 10 月 30 日生效，可能赋予其权限，爬取和抓取使用其平台的企业（包括新闻出版商）所关联网站上的内容，用于训练其人工智能，甚至可能凌驾于 robots.txt 指令之上并绕过许可协议，不过 Meta 坚称，此举只是整合现有条款。

博主分享如何成功让自己的网站被 Google 除名（deindex），以应对 AI 抓取带来的内容被肆意爬取的问题，并解释了 robots.txt 与 meta robots 标签配合使用的技巧。

对排名前10000的网站的robots.txt文件研究发现，大多数网站阻止了像GPTBot这样的AI训练爬虫，却很大程度上忽略了像OAI-SearchBot这样的实时回答机器人，突显了当前网络在AI治理方面的盲点。

对 34 个网站上 1100 万爬虫日志的分析揭示了不同行为：GPTBot 无视 robots.txt 持续抓取；Google 的爬虫频繁检查规则；ClaudeBot 的抓取速度正在快速提升；Bytespider 是最重的爬虫。这些发现表明，SEO 正从以 Google 为中心转向针对 AI 智能体的页面选择进行优化。

本文探讨了AI编程助手如何使普通大众能够进行大规模网页抓取，由此引发了关于忽略robots.txt和速率限制的道德问题，并对AI提供者的责任提出质疑。

关于 AI 代理在生成爬虫时忽视 robots.txt 等网站规则的伦理挑战，以及 AI 提供商在不妨碍产品可用性的前提下实施护栏的责任的评论。

一位开发者通过修复robots.txt、添加llms.txt、改进语义HTML等方式优化网站以适应AI爬虫，次日AI流量增长了12倍。

Amazonbot，亚马逊的网络爬虫机器人，现已遵守robots.txt指令，这标志着其先前行为的改变。