@BetaTomorrow: 标题：数据过滤的惨痛教训 作者：Christopher Mohri, John Duchi, Tatsunori Hashimoto (@tatsu_hashimo…

X AI KOLs Following 论文
data-filtering large-language-models generalization scaling-laws curation manifold-learning

摘要

本文认为，对于足够大的模型，未经过滤的数据可以通过提供弱扰动来提高泛化能力，这与通常认为只有高质量过滤数据才有益的假设相反。作者提醒，有害的条件偏移仍可能损害模型，但过度筛选可能会去除有用的扰动。

标题：数据过滤的惨痛教训 作者：Christopher Mohri, John Duchi, Tatsunori Hashimoto (@tatsu_hashimoto) 当模型缺乏足够能力来分离流形区域时，过滤是有帮助的。但当模型足够大时，未过滤的数据会在更广泛的流形上提供弱随机扰动。这些扰动可以激活更多内在路径，稳定更多不动点盆地，并提高泛化能力。这里的“惨痛教训”不仅仅是规模胜过筛选，而是过度筛选可能移除高维非线性数据中构建不动点所需的扰动。需要警惕的是：这不应被夸大为“所有数据都是好的”。论文本身指出，有害的条件偏移仍可能损害模型，例如看起来像正常高质量文本的系统性错误陈述。Deep Manifold 也会这么说：有用的扰动推动流形；对抗性或错误的条件结构可能会锚定错误的不动点。** Dataualism ** https://x.com/BetaTomorrow/status/2048580677290070016… #DeepManifoldInterpretation
查看原文
查看缓存全文

缓存时间: 2026/06/13 14:17

标题：数据过滤的苦涩教训
作者：Christopher Mohri、John Duchi、Tatsunori Hashimoto（@tatsu_hashimoto）

当模型缺乏足够容量来分离流形区域时，过滤数据确实有帮助。但若模型规模足够大，未经过滤的数据反而能在更广阔的流形上提供微弱的随机扰动。这些扰动可以激活更多内在通路，稳定更多不动点盆地，从而提升泛化能力。这里的“苦涩教训”不只是“规模胜于筛选”——更在于过度筛选可能恰恰消除了高阶非线性数据中构建不动点所需的扰动。需注意：这不应被夸大为“所有数据都是好的”。论文本身指出，有害的条件偏移仍会损害模型，例如系统性伪造的、看似高质量文本的虚假陈述。Deep Manifold 的观点与之相同：有益的扰动会推动流形；而对抗性或错误的条件结构则可能锚定错误的不动点。

Dataualism
https://x.com/BetaTomorrow/status/2048580677290070016…
#DeepManifoldInterpretation

Turing Post（@TheTuringPost）：
哦，这很有趣……

@斯坦福的研究人员检验了一个常见假设：大型模型只需要“高质量”过滤后的训练数据。

如果最好的过滤器就是根本不用过滤器呢？

他们比较了完整的 Common Crawl 数据与其经过重度过滤的版本，结果……

相似文章

六大AI聊天机器人中有五个在政治上保持中间立场

Reddit r/artificial

查尔姆斯理工大学的研究人员分析了六个主流大语言模型生成的超过14.8万篇文本，发现大多数聊天机器人在瑞典政治议题上采取中间立场，而Grok在移民、犯罪和性别问题上是明显的例外。

理解推测解码中的目标概率复用

arXiv cs.CL

该论文研究了推测解码中目标模型概率的复用问题，提出在树分配前利用目标概率进行重排序和首词采样，可在小树预算下提升期望接受率并加快解码速度。

以语言障碍为视角审视大语言模型

arXiv cs.CL

该论文提出了一种受失语症启发的机制可解释性框架，通过分类器引导的消融和激活引导，在大语言模型中诱发语言功能障碍，揭示出高度纠缠但可被映射的功能回路。

法律因素存在于大语言模型的何处？

arXiv cs.CL

匹兹堡大学的一篇论文研究了大语言模型是否在内部表征了 CATO 的 26 个法律因素，结果表明，通过稀疏自编码器特征，可以从 Qwen3-1.7B、Qwen3-8B 和 Gemma-2 2B 中线性解码出所有因素，测试集上的 AUC 为 0.86–1.00。