AI让大规模网页抓取变得触手可及。这是一个问题吗？

**我的看法**：如果我想从网站收集数据并编写代码来自动化操作，通常有一些公认的行规。检查站点地图。查看robots.txt。遵守速率限制。尽可能遵循网站的偏好。有趣的是，我用过的绝大多数AI代理似乎完全无视这些规则。它们会愉快地生成一个爬虫，发起数十万次请求，启动Playwright会话，轮换页面，通常优化目标是“给我数据”而非“我该这么做吗？”鉴于AI辅助编程变得如此易于使用，普通人——不仅仅是公司——开始运行自己的爬虫似乎不可避免。尤其是对于那些看似唾手可得的高价值信息，比如谷歌搜索排名、产品数据或就业市场情报。如果每个人及其母亲都开始在Python中启动Playwright会话，这会给谷歌、ATS平台以及基本上互联网上的每个网站带来明显的头痛问题。我纠结的是责任问题。AI提供者应该考虑这一点吗？如果Anthropic、OpenAI、Cursor/Anysphere等能够生成越来越复杂的收集工具，它们是否有义务考虑下游影响？同时，我看不到明显的解决方案。一旦开始添加护栏，就有可能使这些工具对合法的研究、可访问性、自动化和软件工程工作的用途大打折扣。也许这个问题已经解决了而我忽略了什么。很好奇这里的人们是怎么想的。（在一次涉及AI生成的搜索排名数据和网络集成LLM的奇怪经历后，我写了一篇更长的文章：[个人博客](https://loganramos.com/research/ai-scraping-ethics/)）