标签
本文研究了在多种自然语言上使用人工语言对LLM进行预训练（预预训练）是否始终能提升token效率，发现其收益高度依赖于实验设置和随机种子，尽管对于使用Llama分词器的小模型，稳定收益在多数语言中出现。
S2T-RLHF提出了一种句子到令牌的奖励分解框架，通过在句子粒度上分配序列级奖励，提高了偏好型RLHF的训练稳定性和鲁棒性，避免了过度细粒度的令牌级精化带来的不稳定性。
本文提出QUADS，一种通过对齐训练端和推理生成端的量化误差来稳定混合专家大语言模型的NVFP4强化学习的方法，实现了BF16级别的精度，并且吞吐量高于FP8。
本文介绍了单rollout异步优化（SAO）技术，用于解决LLM后训练中异步RL的稳定性和异策略挑战，并证明SAO在智能体编码和推理基准测试上持续优于GRPO。
清华大学的SAO算法解决了大规模语言模型异步强化学习中的稳定性和离策略漂移问题，在智能体编程和推理基准测试上相比GRPO取得了稳定提升，并用于训练GLM-5.2模型。
信任区域策略蒸馏（TOP-D）通过动态构建近端教师来稳定在线策略蒸馏，提供理论收敛保证，并在数学推理任务中实现零额外开销的实证收益。
本文介绍了FADE（Focal Advantage with Dynamic Entropy），一种自适应优势函数，能在大型语言模型的强化学习后训练过程中动态调度梯度权重，与静态基线相比，实现了更快的收敛和更好的准确率-多样性平衡。
一篇博客文章，总结了十个最新的智能体强化学习框架和最佳实践，涵盖模块化接口、轨迹结构、动作掩码、过程奖励、优势归一化、可扩展的 rollout、稳定性/探索以及任务课程。
本文分析了RLVR训练中的token级梯度动态，揭示了优势符号与token概率如何共同影响更新稳定性，并提出了Winner Advantage Policy Optimization（WAPO），该方法仅在正优势的完成序列上执行裁剪更新，以提高稳定性。
AAD-1 引入具有分阶段训练的非对称对抗性蒸馏，以实现一步自回归视频生成，在 VBench 上优于先前方法。
Fern 宣布了一种新的正则化技术，解决了 SolidGoldMagikarp 稳定性问题，详情将在后续帖子中说明。
DVAO 根据奖励方差自适应地加权目标，以提升多奖励强化学习的训练稳定性和多目标性能。
本文识别出梯度振荡和残差爆炸是循环Transformer训练不稳定的原因，并提出了全循环Transformer，包含两个无需参数调整的修改（全循环架构和注意力注入），能够稳定训练至12次循环迭代，在下游任务性能上实现了高达13.2%的提升。
本文介绍了 LBW-Guard，一个位于 AdamW 优化器之上的受限自主训练控制治理层，用于监测遥测数据并在训练过程中施加受限控制，展示了在压力条件下困惑度的改善和训练速度的提升。
提出隐式行为策略优化（IBPO），一种基于反事实比较的信用分配框架，通过将稀疏的终端奖励转化为对步骤敏感的学习信号，提升了大型语言模型在多步推理任务中的训练稳定性和性能。
作者宣布发布其首篇AI研究论文STAM（自适应动量的稳定训练），这是一种新的深度学习优化器，旨在解决训练的稳定性和资源效率问题，并邀请AI社区提供反馈。
本文提出了一种协方差感知的组相对策略优化（GRPO）变体，该方法利用高斯核优势重权重技术来稳定训练熵，并提升大语言模型的推理性能。
DeepSeek 发布了完整的 V4 论文，详细介绍了 FP4 量化感知训练、MoE 训练稳定性技巧（预判路由与 SwiGLU 截断），以及用于 RLHF 的生成式奖励模型，实现了显著的效率提升——V4-Flash 在 100 万上下文长度下仅需 V3.2 的 10% FLOPs 和 7% 的 KV 缓存。
Token AI发布了一篇研究论文，介绍STAM——一种新型自适应动量优化器，旨在提升训练稳定性并降低内存占用，相比AdamW等标准优化器效果更优。
本文提出了 UniSD，这是一种用于适应大型语言模型的统一自蒸馏框架，整合了监督可靠性、表征对齐和训练稳定性的机制。实验结果表明，UniSD 在多个基准测试中均优于基础模型和现有基线方法。