论文页面 - 一个 AI Token 值多少钱？野生 AI 生成网页文本的缩放规律

来源: https://huggingface.co/papers/2609.40295

摘要

网页文本（Webtext）占预训练数据的大多数，并且正日益由 AI 生成。在应用 FineWeb 质量过滤后，我们发现，2026 年 6 月的网页数据中有 27.5% 的 token 被 Pangram 标记为 AI 生成，到 8 月这一比例升至 31.1%。与合成数据或模型坍塌（model collapse）的实验设置不同，这种*野生* AI 文本来自众多模型，面向人类读者撰写，并且在预训练语料中以无标注的形式出现。野生环境中的 AI 文本如何影响语言模型的预训练？为回答这个问题，我们预训练了 800 个语言模型，改变新增 AI token 与人类 token 的比例，并对人类文本和 AI 生成文本上的留出损失（held-out loss）拟合缩放规律。对于数据匮乏的模型，向预训练数据中添加 AI token 会在初期降低人类文本上的损失，但随着添加量增加，其收益会饱和，并很快*反转*为损害。对于在大量人类文本预算上训练的模型，AI token 几乎立即就会抬高损失，而同样数量的新鲜人类 token 则会持续降低损失。Hoffman 等人（2022）提出的这类缩放规律无法预测这一行为。我们提出了一种新的缩放规律，包含独立的收益项和损害项，使 AI token 的价值可以发生符号翻转，同时在没有 AI 文本时可以退化为 Chinchilla 定律。在较小模型上拟合后，我们的缩放规律在所有 AI 占比设置下，都能预测 AI 文本对留出人类文本损失的影响，适用范围可达 3.6 倍大小的模型，误差比现有最佳规律低 41%。我们建议：当目标是人类文本时过滤掉 AI 文本；在扩充训练集引入 AI 生成网页文本之前先重复使用人类文本；并分别在人类文本和 AI 文本上报告验证损失。当目标是 AI 文本时，AI 文本仍然有价值。我们发布了 WildAI——一个 83B token 的语料库，带有 AI、主题和格式标签，并在 https://github.com/pangramlabs/WildAI 上发布了全部 800 个模型及代码。

查看 arXiv 页面 (https://arxiv.org/abs/2609.40295) 查看 PDF (https://arxiv.org/pdf/2609.40295) GitHub0 (https://github.com/pangramlabs/WildAI) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.40295)

在你的 agent 中获取这篇论文：

hf papers read 2609.40295

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 1

pangram/WildAI-models 文本生成 • 约 2 小时前更新 (https://huggingface.co/pangram/WildAI-models)

引用本文的数据集 1

pangram/WildAI Viewer • 约 1 小时前更新 • 192M (https://huggingface.co/datasets/pangram/WildAI)

引用本文的 Spaces 0

没有 Space 关联本文

在 Space 的 README.md 中引用 arxiv.org/abs/2609.40295，即可从本页面链接过去。

包含本文的集合 1