Cloudflare 新政策迫使 AI 公司为出版商内容付费

# Cloudflare 新政策推动AI公司为发布商内容付费 | TechCrunch 来源：https://techcrunch.com/2026/07/01/cloudflares-new-policy-pushes-ai-companies-to-pay-for-publishers-content/ Cloudflare刚刚为AI行业设定了一个新的截止日期，要求将用于传统搜索目的（如Google搜索）的网络爬虫与用于AI代理和训练的爬虫区分开。该公司周三宣布，自2026年9月15日起，Cloudflare的默认设置将屏蔽所有带有广告的页面上的“混合用途”爬虫。 这意味着，除非网站所有者另行调整设置，否则那些融合搜索、代理使用和训练的爬虫将默认被禁止抓取这些网站。该公司表示，这些默认更改将适用于新的Cloudflare客户、现有客户设置的新网站以及所有现有的免费客户。 此举可能会影响AI模型提供商获取网络内容以用于训练和驱动其代理服务的能力。 Cloudflare指出，大多数网站所有者希望自己的内容可通过搜索发现，也愿意通过AI服务被找到，但他们希望得到保护，以免自己的知识产权被无偿使用。 Cloudflare特别点名“全球最大的搜索引擎”（显然指的是谷歌！）能够获取比其它AI公司“大约多2倍的信息”，因为这家搜索巨头让客户难以在保持可被发现的同时避免被用于AI。 谷歌此前曾反驳这一说法，指出其提供了一个名为[Google Extended](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers)的爬虫，让网站所有者可以选择不使用其内容进行训练以及用于Gemini Apps和Vertex API等AI产品和服务。使用该爬虫不会影响网站在谷歌搜索中的收录。然而，这家科技巨头的旗舰产品Googlebot会为搜索（包括AI概览和AI模式等AI功能）进行爬取。 “如今互联网上的大部分流量都不是人类产生的，我们必须走得更远、行动更快，才能让可持续的生态系统得以出现，”Cloudflare联合创始人兼CEO马修·普林斯在宣布这一消息时表示，他指的是最近[机器人流量首次超越人类流量](https://x.com/eastdakota/status/2062212701414187452)的里程碑事件。这一转变原本预计要到明年才会发生。 “Cloudflare的新工具和合作伙伴关系为网站所有者提供了更高的可见性和商业机会，并使那些拥有明确且透明意图的爬虫的AI公司受益。我们希望我们提议的默认更改能够鼓励混合用途爬虫将搜索与代理使用和训练区分开来，”普林斯说。 虽然Cloudflare提供了多种产品帮助用户[启动自己的AI系统](https://www.cloudflare.com/ai-solution/)，但该公司也发布了一系列工具，让发布商在AI时代对自己的内容拥有更多控制权。近年来，Cloudflare推出了[对抗AI爬虫的工具](https://techcrunch.com/2024/07/03/cloudflare-launches-a-tool-to-combat-ai-bots/)，包括一个[让网站可以向AI爬虫收取抓取费用的市场](https://techcrunch.com/2025/07/01/cloudflare-launches-a-marketplace-that-lets-websites-charge-ai-bots-for-scraping/)，名为Pay Per Crawl。 该公司表示，后者现在也将演变为“Pay Per Use”，这将允许发布商在AI公司利用其内容创造价值时收费，而不仅仅是在内容被获取时收费。 这一变化还可能有助于为AI模型提供商节省发布商的带宽和计算资源，因为Cloudflare的数据显示，超过50%的AI爬虫抓取流量都用于重新获取未更改的页面。 为将这一模式付诸实施，Cloudflare最初与两家合作伙伴合作：Ceramic.ai 和 You.com。当发布商选择加入后，他们的内容出现在Ceramic的AI搜索结果中，或当You.com访问他们的某篇付费内容时，他们就会获得报酬。 Cloudflare表示，其他AI公司可以根据自身工作方式定制这一模式。 *当您通过我们文章中的链接购买商品时，[我们可能会获得少量佣金](https://techcrunch.com/techcrunch-affiliate-monetization-standards/)。这不会影响我们的编辑独立性。* Sarah自2011年8月起担任TechCrunch记者。在加入该公司之前，她曾在ReadWriteWeb工作超过三年。在担任记者之前，Sarah曾在多个行业的IT领域工作，包括银行业、零售业和软件业。 您可以通过电子邮件 [[email protected]](mailto:[email protected]) 或通过Signal的加密消息 sarahperez.01 联系或验证Sarah。 查看简介 (https://techcrunch.com/author/sarah-perez/)