Patreon 停止请求 AI 机器人不要抓取——并开始阻止它们

TechCrunch AI 新闻

摘要

Patreon 已与 Cloudflare 合作,主动阻止 AI 机器人抓取创作者内容用于训练,超越了自愿的 robots.txt 方式。此举旨在让创作者更好地控制其作品被 AI 公司使用的方式。

Patreon 正在加强与 Cloudflare 的合作,以阻止那些未经许可利用创作者内容训练 AI 模型的机器人。此举标志着从仅依赖网站使用 robots.txt 转向主动拦截未经授权的 AI 训练。
查看原文
查看缓存全文

缓存时间: 2026/07/20 09:22

# Patreon 不再请求AI机器人不要爬取——而是直接阻止它们 | TechCrunch 来源:https://techcrunch.com/2026/07/17/patreon-stops-asking-ai-bots-not-to-scrape-and-starts-blocking-them/ 创作者会员平台Patreon(https://www.patreon.com/)正在严厉打击用于训练目的的人工智能爬取行为。周四,该公司宣布正与互联网基础设施提供商Cloudflare合作,直接阻止那些旨在未经许可利用创作者作品训练AI模型的机器人访问。 该公司表示,加强措施是必要的,因为自2023年首次采取措施阻止AI爬虫以来,AI爬取技术已经变得更加复杂。此外,Patreon的付费墙长期以来已将创作者的大部分内容锁定在爬虫可及范围之外。但最近,该公司推出了新的发现工具,例如重新设计的主页信息流和类似推特的Quips(https://www.theverge.com/tech/920988/patreons-tweet-like-quips-are-now-widely-available),这可能会使更多内容暴露给爬虫。 这些变化发生之际,越来越多的在线出版商和内容创作者开始正视AI如何利用他们的作品来使其AI模型更智能。为了应对这一问题,Cloudflare现在提供工具,允许网站发布者限制AI机器人(https://techcrunch.com/2024/07/03/cloudflare-launches-a-tool-to-combat-ai-bots/),包括一个允许网站向AI机器人收取爬取费用的市场(https://techcrunch.com/2025/07/01/cloudflare-launches-a-marketplace-that-lets-websites-charge-ai-bots-for-scraping/),名为“按爬付费”(Pay Per Crawl)。本月早些时候,该公司更改了政策(https://techcrunch.com/2026/07/01/cloudflares-new-policy-pushes-ai-companies-to-pay-for-publishers-content/),使得“混合用途”爬虫——即既索引网站内容又对其进行训练的爬虫——在托管广告的任何页面上默认被阻止。 Patreon表示,它正将其与Cloudflare的现有合作扩展到使用该公司的AI爬取控制技术,以更新其AI政策和执行工具。不同之处在于,Patreon现在不再是简单要求AI爬虫通过robots.txt文件(一种向机器人提供如何使用其网站指令的标准方式)不要爬取内容,而是主动阻止AI训练机器人。 “同意不应该取决于爬虫是否选择遵守规则,”一篇Patreon博客文章(https://www.patreon.com/patreon/posts/patreon-to-ai-164027757)在提及这些更严格措施时解释道。 在测试这些功能时,各AI训练爬虫每周访问Patreon的尝试次数从“数千次降至零”,该文章指出。这表明AI爬虫此前一直无视Patreon的robots.txt文件,尽管有请求,仍在爬取网站。 然而,该公司表示,它将允许那些索引页面并组织信息以将用户引导回Patreon的机器人。 “随着AI代理变得越来越强大和流行,创作者理应在AI公司如何使用他们的作品方面拥有有意义的发言权,”Patreon产品主管Drew Rowny在公告中评论道。“在互联网的大多数地方,创作者为了接触和扩大受众,不得不接受AI对其作品进行训练。Patreon有不一样的愿景:创作者应该能够扩大他们的受众,同时控制他们的作品如何被使用。” *当您通过我们文章中的链接购买商品时,我们可能会赚取少量佣金(https://techcrunch.com/techcrunch-affiliate-monetization-standards/)。这不会影响我们的编辑独立性。* Sarah自2011年8月起担任TechCrunch记者。在加入该公司之前,她曾在ReadWriteWeb工作了三年多。在担任记者之前,Sarah曾在多个行业从事IT工作,包括银行、零售和软件。 您可以通过电子邮件[[email protected]](mailto:[email protected])联系或验证Sarah的外联,或者通过Signal上的sarahperez.01发送加密消息。 查看简介(https://techcrunch.com/author/sarah-perez/)

相似文章

阻止AI训练爬虫的网站大多忽略实时回答机器人

Hacker News Top

对排名前10000的网站的robots.txt文件研究发现,大多数网站阻止了像GPTBot这样的AI训练爬虫,却很大程度上忽略了像OAI-SearchBot这样的实时回答机器人,突显了当前网络在AI治理方面的盲点。