generalization

一篇新论文揭示了 LLM 预训练中的“模式跳跃”（mode-hopping）现象：即使训练损失保持平稳，模型也会在浅层模式匹配与真正的泛化能力之间反复切换——这意味着更多的预训练并不总能保证更好的泛化效果。

本文指出，仅仅作为有效的曲率上界，并不足以证明使用末层相对平坦性代理作为对抗鲁棒性证书或可微训练正则化手段的合理性。作者推导出一种规范不变的修复方法，展示了该代理在保持对称性的 softmax 平移下是无界的，并通过 CIFAR-10 实验表明：经商空间正则化后的预测器保持了对齐性，而直接进行原始正则化的预测器的泛化能力可能被抑制。

MedKIT 是一个新基准，用于评估大语言模型在词法、关系、组合和操作四类探针下，整合与应用更新后临床知识的能力。一项涵盖 5 个模型、12 种知识整合策略的大规模研究发现，事实检索与可实际运用的知识之间始终存在明显差距，组合推理与操作推理能力几乎没有提升。

该论文提出 Stability-Aware Generalization Objective（SAGO）框架，主张 LLM 的泛化应评估为稳定性而非准确率，通过生成一致性、内部激活、置信度和响应镜像等多维度变异测量，揭示了现有模型普遍存在且与排名相关的泛化不稳定问题。

该论文提出"模式跳变"(mode-hopping)概念，指出LM预训练中平滑下降的损失与稳定基准分数会掩盖模型答题方式的突变（如OLMo3-32B在算术提示上81%→0%→81.7%的反复），并通过六项廉价行为测试排除了评估指标非线性与局部优化波动等简单解释。

本文提出 OPSFT（同策略方向约束监督微调），将 SFT 的参数更新方向约束为在同策略强化学习训练中观测到的方向，表明同策略范式的泛化优势可以迁移到 SFT 中，从而提高训练效率，并能够利用高质量轨迹。

本文发现潜在世界动作模型无法泛化，并提出了Simple-WAM，它通过将未来建模简化为单次前向传递来提高泛化性能，同时保持效率。

这篇文章讨论了AI批评家Ilya Sutskever和Yann LeCun是否错误地认为LLMs无法达到人类智能，因为有新兴证据表明LLMs正在跨领域泛化。

本文提出一种轻量级的、基于规则的多样化SFT轨迹选择器，以提升推理模型在后RL阶段的泛化能力，并在数学基准测试中展示了显著的性能提升。

本文表明，在 delta-learning 中，仅残差缩放不足以实现可学习性，并引入了诊断指标和目标设计原则，以提升科学机器学习的泛化性能。

本文介绍了一种通用多模态基础模型，能够处理任意模态组合与预测任务，通过在具有多样化因果结构的大规模合成数据集上训练，实现了具有竞争力的性能。

对Figure的Helix 2.5机器人的批评，通过指出试验中的高失败率和演示中有限的实际应用性，挑战其零样本泛化声明。

Figure.ai 发布了一段 4 小时的视频，演示了他们的 Helix 2.5 类人机器人在 30 个新家中工作，无需任何额外训练，展示了其泛化能力。

本文探讨了神经网络中的“Grokking”（延迟泛化）现象，并引入了几何维度正则化（GeomDR）方法来控制表征几何结构，从而将“Grokking”现象的出现速度最高提升52倍。

Figure 发布了 Helix 2.5，这款AI模型使机器人能够无需额外训练，在30个家庭中零样本泛化家务任务。

本文引入了尖锐模式连接 (SMC) 来增强神经网络中权重空间插值的鲁棒性，通过优化整个路径的平坦性，在分布偏移下实现了显著的准确性提升。

本文使用转换游戏来研究 Transformer 从记忆到泛化的转变，揭示了分布式效用增益是由于注意力偏差和傅里叶重编码，而非模块切换。

本文解释了为什么机器学习研究代理在迭代基准测试评估中避免过拟合，将这一现象归因于压缩以及少量令牌拟合在泛化中的作用。

本文评估了 nnU-Net 在 BraTS-GoAT 2026 挑战中脑肿瘤分割的泛化能力，报告了性能指标并分析了失败案例。

本文通过缩放定律量化了神经网络中记忆到泛化的转变（Grokking），揭示了与模型容量相比，数据复杂度是转变时间的主要驱动因素。