支持面向网站的共享 AI 训练控制机制(阅读需 2 分钟)
摘要
谷歌宣布计划基于 IETF AIPREF 的工作,在 robots.txt 中支持一项通用的 AI 训练控制机制,让网站能够一次性向多家 AI 提供商表达退出 AI 训练的意愿,目标于 2027 年推出。
谷歌宣布计划通过 robots.txt 支持统一的 AI 训练控制机制,允许网站使用单一策略标记来设置 AI 训练偏好。
查看缓存全文
缓存时间: 2026/11/02 15:16
# 支持网站使用通用的 AI 训练控制机制 | Google 搜索中心博客 | Google for Developers
来源:https://developers.google.com/search/blog/2026/10/ai-training-control
2026 年 10 月 30 日,星期五
今天,我们宣布计划在 robots\.txt 中支持一种通用的 AI 训练控制机制 (https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/)\。这将帮助网站通过一次设置,向多家 AI 提供商表达其 AI 训练偏好,其基础是互联网工程任务组 \(IETF\) 的 AIPREF 工作组所开展的工作\。长期以来,我们一直为网站所有者提供清晰的控制机制,此举延续了这一传统,其中包括我们自 2023 年起提供的 AI 训练控制机制 Google\-Extended (https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers#google-extended)\。
## 新控制机制将如何运作
网站所有者将能够在 robots\.txt 中使用通用的“策略令牌”,为参与的各家 AI 提供商设定总体偏好,而无需为每家 AI 开发商分别管理指令\。
当网站在其 robots\.txt 文件中使用此策略令牌选择退出训练时 \(且未明确指定 Google\-Extended\),Google 计划将其视为发布商已禁止 Google\-Extended (https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers#google-extended)\。其他 AI 提供商也可以采用类似方式处理,让网站所有者能够轻松选择退出所有提供商的训练,或有选择地允许或禁止特定提供商\。
现有的公司专属控制机制将继续与这一新的共同信号并行运作\。因此,网站所有者可以通过这一行业通用信号轻松表达总体选择,同时也可以通过 Google\-Extended 等控制机制,为 Google 等个别 AI 开发商定制指令\。明确允许 Google\-Extended 的网站有资格通过 Gemini 应用中的事实依据功能出现在回答中并获得点击\。
在各利益相关方继续讨论 AIPREF 词汇体系其余部分的同时,新机制让网站所有者能够受益于 IETF 制定的 AI 训练定义\。随着更多行业参与者采用这一机制,网站所有者将能够及早使用这一偏好信号,且其适用范围也将不断扩大\。
这份提案草案体现了发布商、民间社会团体、监管机构及其他利益相关方的反馈,他们一直呼吁建立覆盖整个行业的 AI 训练控制机制\。主要 AI 提供商对该提案的支持,将有助于未来形成一项跨行业、稳健且持久的标准\。该提案符合欧盟《人工智能法案》下针对通用人工智能 \(GPAI\) 模型提供商的《行为准则》,该准则认可 robots\.txt 是网站发布商表达机器可读偏好的主要方法之一\。我们将继续与这些利益相关方合作,通过 IETF 工作组完善这一机制并推动其标准化\。
我们的目标是在 2027 年与其他 AI 提供商一起支持这一新的控制机制,并将持续公布进展\。
相似文章
让网站更轻松地表达 AI 训练偏好
OpenAI 宣布将遵循 IETF AI 偏好工作组提出的共享 robots.txt 信号,让网站所有者只需设置一次,就能向多家提供商表达其对 AI 训练的偏好,而无需单独管理每个爬虫的规则。
人工智能领域的巨头们正支持一种拒绝被抓取数据的新方式
OpenAI、谷歌、微软和 Anthropic 正在支持一项向 IETF 提出的新“策略令牌”标准,该标准允许出版商通过其 robots.txt 文件,一次性拒绝多家公司的 AI 训练数据抓取。
如果你正在构建智能体,这是一篇非常有趣的论文。网站应该如何告诉 AI 智能体它可以访问什么内容,出于什么目的,以什么价格?
一篇论文提出了 terms.txt,这是一个文件和协议,用于指定网站上每个路径和目的的机器访问条款,解决了 robots.txt 的局限性,并为 AI agents 启用同意和补偿机制。
在搜索中保持可发现性同时禁止AI训练
Cloudflare 宣布一项新设置,允许网站所有者在保持搜索引擎可发现性的同时选择退出AI训练,Apple、Google 和 Microsoft 承诺遵守该设置。
AI 在数据收集中如何遵循道德准则?
关于 AI 代理在生成爬虫时忽视 robots.txt 等网站规则的伦理挑战,以及 AI 提供商在不妨碍产品可用性的前提下实施护栏的责任的评论。