让网站更轻松地表达 AI 训练偏好
摘要
OpenAI 宣布将遵循 IETF AI 偏好工作组提出的共享 robots.txt 信号,让网站所有者只需设置一次,就能向多家提供商表达其对 AI 训练的偏好,而无需单独管理每个爬虫的规则。
OpenAI 将遵循共享的 robots.txt 信号,帮助网站运营者向参与的提供商传达其对 AI 训练的偏好。
查看缓存全文
缓存时间: 2026/10/30 21:14
# 让网站更轻松地表达 AI 训练偏好
来源:https://openai.com/index/helping-websites-express-ai-training-preferences/
今天,我们宣布,OpenAI 将遵循 robots\.txt 中的一项通用信号\(在新窗口中打开\) (https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/)。robots\.txt 文件让网站能够表达其内容用于基础生成式 AI 训练的偏好。这项自愿举措让出版商和网站运营者能够更轻松地向多个参与的提供商同时传达相同的偏好\.
此前,网站运营者需要识别各个爬虫,并为每一家提供商分别维护规则。多个提供商采用共同信号,可以减少运营者的这项工作\.
我们计划在未来几个月内实施这一信号,并将在实施时发布进一步更新,介绍具体细节。这一新信号不会取代我们已经通过 robots\.txt 提供的控制措施。我们现有的爬虫控制措施\(在新窗口中打开\) (https://developers.openai.com/api/docs/bots) 为网络出版商提供了管理其网页的灵活性和控制权,这些措施将继续适用并得到遵守\.
这项举措借鉴了互联网工程任务组 \(IETF\) AI 偏好工作组正在开展的工作\(在新窗口中打开\) (https://datatracker.ietf.org/doc/draft-ietf-aipref-vocab/)。我们与该工作组的其他参与者一道,于今天宣布采用这一共同信号,并相信这将进一步加强我们对 IETF 标准讨论的持续参与。随着这些讨论和整体环境不断演变,OpenAI 将继续调整自身做法,兼顾适当的控制措施与公平性\.
我们相信,这是迈向开放网络的务实一步:人们可以在其中发布和发现信息,网站所有者也能以更清晰、更简单的方式,传达他们对内容使用方式的选择。我们鼓励其他 AI 提供商遵循这一信号\.
相似文章
支持面向网站的共享 AI 训练控制机制(阅读需 2 分钟)
谷歌宣布计划基于 IETF AIPREF 的工作,在 robots.txt 中支持一项通用的 AI 训练控制机制,让网站能够一次性向多家 AI 提供商表达退出 AI 训练的意愿,目标于 2027 年推出。
人工智能领域的巨头们正支持一种拒绝被抓取数据的新方式
OpenAI、谷歌、微软和 Anthropic 正在支持一项向 IETF 提出的新“策略令牌”标准,该标准允许出版商通过其 robots.txt 文件,一次性拒绝多家公司的 AI 训练数据抓取。
如果你正在构建智能体,这是一篇非常有趣的论文。网站应该如何告诉 AI 智能体它可以访问什么内容,出于什么目的,以什么价格?
一篇论文提出了 terms.txt,这是一个文件和协议,用于指定网站上每个路径和目的的机器访问条款,解决了 robots.txt 的局限性,并为 AI agents 启用同意和补偿机制。
AI 在数据收集中如何遵循道德准则?
关于 AI 代理在生成爬虫时忽视 robots.txt 等网站规则的伦理挑战,以及 AI 提供商在不妨碍产品可用性的前提下实施护栏的责任的评论。
阻止AI训练爬虫的网站大多忽略实时回答机器人
对排名前10000的网站的robots.txt文件研究发现,大多数网站阻止了像GPTBot这样的AI训练爬虫,却很大程度上忽略了像OAI-SearchBot这样的实时回答机器人,突显了当前网络在AI治理方面的盲点。