AI 在数据收集中如何遵循道德准则？

观点：如果我想通过互联网收集数据，并且编写脚本/代码来加快速度，我必须遵守一些基本规则（例如查看站点地图，找到相关的 robots.txt，遵循网站的所有偏好和规则）。但似乎我用过的任何 AI 代理都完全不在乎规则和限制，并且非常乐意为我构建一个爬虫，该爬虫会执行数十万次请求，而完全不顾网站所有者的偏好。鉴于众所周知可以用 AI 完成简单的编码任务，我很容易预见到一个未来，即普通个人也会运行自己的爬虫。尤其是在收集那些“看似容易获取”的高价值信息时，比如谷歌搜索排名或工作数据。如果每个人和他们的母亲都开始用 Python 启动 Playwright 会话，这对谷歌、ATS 平台以及互联网上的几乎所有网站来说都将是一场噩梦。我坚信这应该是 AI 提供商（Anthropic、OpenAI、Anysphere 等）的责任。但这些公司该如何平衡这一点，而不实施严重限制其产品的护栏呢？也许这个问题已经解决了，有人可以满足我的好奇心。