robots-txt

本文探讨了AI编程助手如何使普通大众能够进行大规模网页抓取，由此引发了关于忽略robots.txt和速率限制的道德问题，并对AI提供者的责任提出质疑。

关于 AI 代理在生成爬虫时忽视 robots.txt 等网站规则的伦理挑战，以及 AI 提供商在不妨碍产品可用性的前提下实施护栏的责任的评论。

一位开发者通过修复robots.txt、添加llms.txt、改进语义HTML等方式优化网站以适应AI爬虫，次日AI流量增长了12倍。

Amazonbot，亚马逊的网络爬虫机器人，现已遵守robots.txt指令，这标志着其先前行为的改变。