支持面向网站的共享 AI 训练控制机制(阅读需 2 分钟)

TLDR AI 新闻

摘要

谷歌宣布计划基于 IETF AIPREF 的工作,在 robots.txt 中支持一项通用的 AI 训练控制机制,让网站能够一次性向多家 AI 提供商表达退出 AI 训练的意愿,目标于 2027 年推出。

谷歌宣布计划通过 robots.txt 支持统一的 AI 训练控制机制,允许网站使用单一策略标记来设置 AI 训练偏好。
查看原文
查看缓存全文

缓存时间: 2026/11/02 15:16

# 支持网站使用通用的 AI 训练控制机制 | Google 搜索中心博客 | Google for Developers 来源:https://developers.google.com/search/blog/2026/10/ai-training-control 2026 年 10 月 30 日,星期五 今天,我们宣布计划在 robots\.txt 中支持一种通用的 AI 训练控制机制 (https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/)\。这将帮助网站通过一次设置,向多家 AI 提供商表达其 AI 训练偏好,其基础是互联网工程任务组 \(IETF\) 的 AIPREF 工作组所开展的工作\。长期以来,我们一直为网站所有者提供清晰的控制机制,此举延续了这一传统,其中包括我们自 2023 年起提供的 AI 训练控制机制 Google\-Extended (https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers#google-extended)\。 ## 新控制机制将如何运作 网站所有者将能够在 robots\.txt 中使用通用的“策略令牌”,为参与的各家 AI 提供商设定总体偏好,而无需为每家 AI 开发商分别管理指令\。 当网站在其 robots\.txt 文件中使用此策略令牌选择退出训练时 \(且未明确指定 Google\-Extended\),Google 计划将其视为发布商已禁止 Google\-Extended (https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers#google-extended)\。其他 AI 提供商也可以采用类似方式处理,让网站所有者能够轻松选择退出所有提供商的训练,或有选择地允许或禁止特定提供商\。 现有的公司专属控制机制将继续与这一新的共同信号并行运作\。因此,网站所有者可以通过这一行业通用信号轻松表达总体选择,同时也可以通过 Google\-Extended 等控制机制,为 Google 等个别 AI 开发商定制指令\。明确允许 Google\-Extended 的网站有资格通过 Gemini 应用中的事实依据功能出现在回答中并获得点击\。 在各利益相关方继续讨论 AIPREF 词汇体系其余部分的同时,新机制让网站所有者能够受益于 IETF 制定的 AI 训练定义\。随着更多行业参与者采用这一机制,网站所有者将能够及早使用这一偏好信号,且其适用范围也将不断扩大\。 这份提案草案体现了发布商、民间社会团体、监管机构及其他利益相关方的反馈,他们一直呼吁建立覆盖整个行业的 AI 训练控制机制\。主要 AI 提供商对该提案的支持,将有助于未来形成一项跨行业、稳健且持久的标准\。该提案符合欧盟《人工智能法案》下针对通用人工智能 \(GPAI\) 模型提供商的《行为准则》,该准则认可 robots\.txt 是网站发布商表达机器可读偏好的主要方法之一\。我们将继续与这些利益相关方合作,通过 IETF 工作组完善这一机制并推动其标准化\。 我们的目标是在 2027 年与其他 AI 提供商一起支持这一新的控制机制,并将持续公布进展\。

相似文章

让网站更轻松地表达 AI 训练偏好

OpenAI Blog

OpenAI 宣布将遵循 IETF AI 偏好工作组提出的共享 robots.txt 信号,让网站所有者只需设置一次,就能向多家提供商表达其对 AI 训练的偏好,而无需单独管理每个爬虫的规则。

AI 在数据收集中如何遵循道德准则?

Reddit r/artificial

关于 AI 代理在生成爬虫时忽视 robots.txt 等网站规则的伦理挑战,以及 AI 提供商在不妨碍产品可用性的前提下实施护栏的责任的评论。