标签
一篇由 CMU 主导的论文提出了“统一训练”（unified training），表明预训练、中期训练（midtraining）、SFT 和强化学习可以被统一为一个基于似然的算法，其中 RL 目标被视作对模型生成目标的最大似然拟合；在多项准确率-计算量以及持续学习实验中，该方法优于分阶段训练。
一篇将基础模型的各训练阶段（预训练、中期训练、监督微调、强化学习）统一到单一基于似然的算法下的论文。该算法融合静态数据与强化学习生成内容，改善了准确率与计算量之间的权衡，并增强了能力保留。
本文针对所有簇大小 M≥2 的过拟合高斯混合模型，证明了关于密度抵消阶数的 Ho–Nguyen 猜想，推导出精确的最大似然指数与局部极小极大收敛速率，并将该系数框架应用于混合专家模型中的可识别性问题。
本文在混合线性回归中连接了Score Matching、Maximum Likelihood和Expectation-Maximization，提供了理论保证，并分析了扩散噪声水平下的梯度行为。
本文确定了在高信噪比环境下稀疏二进制信号的最大似然支持恢复的足够样本大小，揭示了信息论阈值以及测量稀疏性与计算成本之间的权衡。