generalization

该论文引入了“模型信息”这一信息论度量，用于衡量训练后的扩散模型的输出对其训练数据集的依赖程度，并揭示了两种缩放区间：标志着从记忆到不完全泛化转变的非线性区间，以及线性泛化区间。论文提出了一条具有理论依据的缩放定律，由此推导出可用于外推的记忆程度和样本质量缩放定律。

该论文定义了一种与 Fisher 信息矩阵对齐的参数分布，使得在保证低损失的同时获得与 Fisher 信息矩阵零特征值数量成正比的参数对数体积，从而得到一个随 Fisher 信息矩阵期望秩缩放的高概率 PAC 泛化误差界。

本文比较了人类与大型语言模型在将新造动词从主动语境扩展到被动语境时的语言能产性，发现即使无法赋予这些动词任何意义，人类仍能基于抽象句法形式进行泛化，而大型语言模型只有在这些动词具有与现有动词相似的意义时才能成功。

这篇 arXiv 论文研究如何在分布层面将大语言模型的输出分布与人类参考分布对齐，并评估这种对齐在未见过的问题上的泛化效果。研究发现，同域泛化有效，但跨主题泛化不稳定，且可能削弱模型能力。

ParetoRSI-Gym 提出一个多领域递归自我改进（RSI）评估框架，在固定模型与训练管线的前提下让智能体自主搜索与筛选数据，结果显示最强系统（Claude Code + Opus-5）在五个领域上带来平均 9.2% 的相对泛化提升，且各智能体展现出独特的数据选择策略。

提出 Harness Scaling 这一新的强化学习扩展维度，通过在多样化执行配置上训练以提升智能体模型对未见 harness 的泛化能力，并在多个基准上验证其优于单一 harness 训练的效果。

论文表明，在模加法任务中，ReLU 网络可以在保持 100% 训练准确率和近乎平坦的训练交叉熵的同时，隐藏特征持续演化，留出集准确率上升至 90% 以上。作者通过有限窗口定理证明了这种共存现象，并在更深的网络和 Transformer 中成功复现了该结果。

Maxime Rivest 分享了一个训练好的模型，它可以将任意摘要与任意给定的分类体系进行匹配，精度达到 Qwen 27B 和 Jev 级别的超人类水平，而成本和延迟却低了一个数量级，同时他也在思考专业化与通用化之间的权衡。

INCONVENIENT 是一个用于评估大语言模型在便利抽样偏差下泛化能力的基准。它通过对训练分布中的特征与目标关系进行可控扰动，涵盖 200 个表格数据集，并生成约 15,500 个偏移训练分布，揭示了真实部署场景中的性能退化问题。

一项关于去噪分数匹配的理论研究，揭示了分数网络中的秩约束和架构瓶颈如何影响泛化能力，通过随机特征模型中的截断奇异值分解推导出渐近精确的训练误差和测试误差，并确定了一个与数据子空间的正交补相关的自然秩阈值。

该论文研究高维场景下的持续线性回归，推导了梯度下降有限步数训练时泛化损失的闭式表达，并证明最优步长按 lnT/T 衰减，其效果渐近等价于最优 L2 正则化。研究还探讨了对角正则化条件以及任务变异性与隐式正则化之间的权衡，并通过实验验证了理论预测。

提出了一种新的可扩展性原则——“有效连贯认知速度”（S_C^eff），用于衡量AI系统在现实变化速度超出训练分布时维持可靠行为的能力，并展示了受意识机制启发的Co⁴架构相比Transformer和门控多层感知机基线在此指标上表现更优。

PreciseCoder 提出在单元测试奖励之外加入语义验证的局部编辑奖励信号，显著减少模型在调试时的多余改动并防止幻觉式 bug 修改；在 4B/9B/27B 模型上将平均编辑行数从 7-15 行降至 3 行，并能泛化到仓库级程序修复，其推理轨迹还能提升 GPT-5.6 Sol 等前沿模型的编辑精度。

本文提出RoleWorld，一种符号化世界建模方法，通过可复用的功能角色抽象实现LLM智能体在不同环境间的知识迁移，在MARS基准上展示了跨环境的稳健泛化能力。

本文提出层级子任务执行（HSE）框架与 RoboCombine 基准，研究具身操作中技能重组的组合泛化极限，指出失败源于「起始状态差距」，并提出 PRTI 轻量后训练策略以提升跨子任务边界的执行成功率。

该论文提出“人格层级模型”（Persona Hierarchy Model）来解释LLM微调中的上下文泛化现象：修改共享默认人格的微调会带来更广泛的迁移，而局部人格的改变则更具上下文特异性。作者还提出人格保持正则化（PPR），在RL训练中将奖励黑客行为从42–55%降至最多0.2%，同时保留准确率增益。

MemCo提出了一种以记忆为中心的协作框架，通过维护互补的局部与全局记忆空间，帮助LLM智能体在未见过的交互环境中实现更好的泛化，实验表明其在交互式决策基准上提升了任务成功率并减少了冗余探索。

论文提出 Recurrent Looped Transformer (RLT)，将层划分为并行因果编码器和循环解码器，使计算路径随序列长度增长而每个 token 的成本保持固定，在奇偶校验、S_5 置换追踪和模运算等算法任务上，长度外推能力显著优于标准 Transformer。

本文系统评估了LLM在时间与事件表达抽取任务中跨四个维度——领域偏移、对抗性扰动、组合性以及长度增加——的泛化表现。研究发现，归纳式提示（inductive prompting）的泛化最为一致，而来自规模、架构以及其他提示策略的收益则并不均衡，且具有明显的维度特异性。

论文发现了“分叉”（forking）现象，这是 NanoGPT 自动研究中出现的一种泛化失败：当具有过度编码 n-gram 记忆的模型在数据重放训练下，训练损失与验证损失在 epoch 边界处急剧分化。文章从机理上解释了该现象，并提醒人们注意自动研究智能体产出的技术可能带来的意外副作用。