@BetaTomorrow: 标题：数据过滤的惨痛教训 作者：Christopher Mohri, John Duchi, Tatsunori Hashimoto (@tatsu_hashimo…
摘要
本文认为，对于足够大的模型，未经过滤的数据可以通过提供弱扰动来提高泛化能力，这与通常认为只有高质量过滤数据才有益的假设相反。作者提醒，有害的条件偏移仍可能损害模型，但过度筛选可能会去除有用的扰动。
查看缓存全文
缓存时间: 2026/06/13 14:17
标题：数据过滤的苦涩教训
作者：Christopher Mohri、John Duchi、Tatsunori Hashimoto（@tatsu_hashimoto）
当模型缺乏足够容量来分离流形区域时，过滤数据确实有帮助。但若模型规模足够大，未经过滤的数据反而能在更广阔的流形上提供微弱的随机扰动。这些扰动可以激活更多内在通路，稳定更多不动点盆地，从而提升泛化能力。这里的“苦涩教训”不只是“规模胜于筛选”——更在于过度筛选可能恰恰消除了高阶非线性数据中构建不动点所需的扰动。需注意：这不应被夸大为“所有数据都是好的”。论文本身指出，有害的条件偏移仍会损害模型，例如系统性伪造的、看似高质量文本的虚假陈述。Deep Manifold 的观点与之相同：有益的扰动会推动流形；而对抗性或错误的条件结构则可能锚定错误的不动点。
Dataualism
https://x.com/BetaTomorrow/status/2048580677290070016…
#DeepManifoldInterpretation
Turing Post（@TheTuringPost）：
哦，这很有趣……@斯坦福的研究人员检验了一个常见假设：大型模型只需要“高质量”过滤后的训练数据。
如果最好的过滤器就是根本不用过滤器呢？
他们比较了完整的 Common Crawl 数据与其经过重度过滤的版本，结果……
相似文章
@n7wb1l: O'Reilly 爆款神书官方源码库：大语言模型实战全景指南 Hands-On Large Language Models 斩获 30K+ Stars 的现象级开源学习仓库，作为 O'Reilly 权威重磅书籍《Hands-On Larg…
O'Reilly 畅销书《Hands-On Large Language Models》的官方配套源码仓库，收录近300张图解与可直接在 Google Colab 运行的 Jupyter Notebook，覆盖 Transformer、Prompt 工程、RAG、多模态与微调等全栈实践，已获 30K+ Stars。
英国高等法院在其2026年判决中引用了一个不存在的判例编号
英国高等法院在2026年作出的[2026] EWHC 2778 (Admin)号判决中，记载了一则由一名高级皇家检察官引用的、并不存在的案例引注——R v J；《卫报》报道称，该引注来自一次互联网搜索中由人工智能生成的回答，但法院并未认定其由人工智能所致。
@AI_Whisper_X: LLM 模型架构的红利，已经被吃完了 读了一篇关于模型架构的文章，2020 年以来那么多 LLM 架构改动，放到同一套实验设置里，到底哪些是真的有用？ 作者 Nikita Pavlichenko（前 JetBrains Mellum 预训…
前 JetBrains Mellum 预训练负责人 Nikita Pavlichenko 通过 1129 次训练实验系统评估了 2020 年以来的 LLM 架构改动，指出架构红利基本被 DeepSeek-V3 那一代吃完，细粒度 MoE 和线性注意力是最扎实的进步，而 Muon 等训练方法与推理 kernel 的影响常被低估。
ImplicitHop：评估跨上下文与记忆的知识整合能力
本文介绍了 ImplicitHop，即两个以推理深度（跳数）衡量演绎推理能力的自然语言基准，并发现，在 15 个开放模型中，准确率均随推理组合长度的增加而急剧下降，且利用上下文中的知识进行推理的表现显著优于利用预训练权重中编码的知识。
差分秩保持流形学习
该论文提出了平滑秩 t-SNE（SR-tSNE），这是一种 t-SNE 变体，通过可微的 sigmoid 秩项保留近邻的排序，并提出了序数 DLP 指标；该方法在八个基准测试中优于 12 种基线方法，并提升了标签迁移、单细胞聚类和算法交易等下游任务的表现。