人工智能领域的巨头们正支持一种拒绝被抓取数据的新方式

# AI 领域的巨头正支持一种拒绝抓取的新方式 来源：https://www.theverge.com/tech/1023763/openai-google-microsoft-ai-scraping-standard-opt-out Emma Roth (https://www.theverge.com/authors/emma-roth) Emma Roth 是一名新闻撰稿人，报道流媒体大战、消费科技、加密货币、社交媒体等众多领域的新闻。此前，她曾在 MUO 担任撰稿人和编辑。 据 *Search Engine Roundtable* (https://www.seroundtable.com/google-ai-training-control-42430.html) 此前报道，OpenAI、Google、Microsoft 和 Anthropic 表示，将采用一项新标准，让出版商能够选择拒绝 AI 抓取其内容。借助这一控制机制，出版商可以将自己的 AI 训练偏好统一应用于多家 AI 公司，而不必逐一设置。 这一通用的“策略令牌”信号 (https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/) 由 Anthropic 标准技术负责人 Kevin Kelley 在互联网工程任务组（IETF）的工作框架下提出。它将被放置在网站的 robots.txt 文件 (https://www.theverge.com/24067997/robots-txt-ai-text-file-web-crawlers-spiders) 中。长期以来，这个文件一直用于指明哪些网络爬虫可以抓取网站、哪些不可以，无论抓取是为了搜索索引、存档，还是 AI 训练。目前，网站必须分别向每家 AI 公司表明自己的 AI 训练偏好。 这一消息发布之际，出版商正努力应对持续涌入的 AI 爬虫。这些爬虫抓取其网站，并将其内容输入 AI 模型。一些公司和组织已尝试打击未经授权的抓取行为，例如 Really Simple Licensing（RSL）标准 (https://www.theverge.com/news/841222/rsl-licensing-ai-spec-launch) 让出版商能够向访问其网站的爬虫收费，而 Cloudflare 则默认屏蔽 AI 爬虫 (https://www.theverge.com/news/695501/cloudflare-block-ai-crawlers-default)。 OpenAI (https://openai.com/index/helping-websites-express-ai-training-preferences/)、Google (https://developers.google.com/search/blog/2026/10/ai-training-control)、Microsoft (https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/) 和 Anthropic (https://mailarchive.ietf.org/arch/msg/ai-control/mddjatOxSR0h6GmLRBWlc839c7w/]) 表示，如果遇到这一通用令牌，就会限制其 AI 爬虫访问该网站。不过，Microsoft 将提供更精细的控制选项 (https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/)，让出版商能够选择拒绝将其内容用于 AI 训练或 AI 依据关联（grounding）(https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/grounding/overview)。后者是指引导 AI 模型参考经过验证的信息来源，以减少幻觉的过程。Microsoft 指出，无论网站选择何种偏好设置，网站仍会出现在 Bing 的搜索结果中。 Anthropic 已经采用了这一信号，而 Google 和 Microsoft 计划明年提供支持。OpenAI 表示，将在“未来几个月内”实施。 **关注本文中的话题和作者**，即可在个性化首页信息流中查看更多类似内容，并接收电子邮件更新。 - Emma Roth