让网站更轻松地表达 AI 训练偏好

OpenAI Blog 新闻

摘要

OpenAI 宣布将遵循 IETF AI 偏好工作组提出的共享 robots.txt 信号,让网站所有者只需设置一次,就能向多家提供商表达其对 AI 训练的偏好,而无需单独管理每个爬虫的规则。

OpenAI 将遵循共享的 robots.txt 信号,帮助网站运营者向参与的提供商传达其对 AI 训练的偏好。
查看原文
查看缓存全文

缓存时间: 2026/10/30 21:14

# 让网站更轻松地表达 AI 训练偏好 来源:https://openai.com/index/helping-websites-express-ai-training-preferences/ 今天,我们宣布,OpenAI 将遵循 robots\.txt 中的一项通用信号\(在新窗口中打开\) (https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/)。robots\.txt 文件让网站能够表达其内容用于基础生成式 AI 训练的偏好。这项自愿举措让出版商和网站运营者能够更轻松地向多个参与的提供商同时传达相同的偏好\. 此前,网站运营者需要识别各个爬虫,并为每一家提供商分别维护规则。多个提供商采用共同信号,可以减少运营者的这项工作\. 我们计划在未来几个月内实施这一信号,并将在实施时发布进一步更新,介绍具体细节。这一新信号不会取代我们已经通过 robots\.txt 提供的控制措施。我们现有的爬虫控制措施\(在新窗口中打开\) (https://developers.openai.com/api/docs/bots) 为网络出版商提供了管理其网页的灵活性和控制权,这些措施将继续适用并得到遵守\. 这项举措借鉴了互联网工程任务组 \(IETF\) AI 偏好工作组正在开展的工作\(在新窗口中打开\) (https://datatracker.ietf.org/doc/draft-ietf-aipref-vocab/)。我们与该工作组的其他参与者一道,于今天宣布采用这一共同信号,并相信这将进一步加强我们对 IETF 标准讨论的持续参与。随着这些讨论和整体环境不断演变,OpenAI 将继续调整自身做法,兼顾适当的控制措施与公平性\. 我们相信,这是迈向开放网络的务实一步:人们可以在其中发布和发现信息,网站所有者也能以更清晰、更简单的方式,传达他们对内容使用方式的选择。我们鼓励其他 AI 提供商遵循这一信号\.

相似文章

AI 在数据收集中如何遵循道德准则?

Reddit r/artificial

关于 AI 代理在生成爬虫时忽视 robots.txt 等网站规则的伦理挑战,以及 AI 提供商在不妨碍产品可用性的前提下实施护栏的责任的评论。

阻止AI训练爬虫的网站大多忽略实时回答机器人

Hacker News Top

对排名前10000的网站的robots.txt文件研究发现,大多数网站阻止了像GPTBot这样的AI训练爬虫,却很大程度上忽略了像OAI-SearchBot这样的实时回答机器人,突显了当前网络在AI治理方面的盲点。