标签
本文提出校准裁剪方法，通过将FP8裁剪界限与高精度分布对齐，来稳定LLMs强化学习中的FP8量化，消除熵激增并恢复性能。
本文分析了Z-loss在人工智能模型训练中的反向传播几何，提供了一个框架来理解和优化密集输出头与稀疏混合专家路由器中的梯度，并在GPT-2和Pythia模型上进行了评估。
本文介绍了Qwen3.8-Flash-Next，一种稀疏混合专家AI模型，通过混合注意力和n-gram嵌入等架构创新，提升了效率、能力和训练稳定性。
本文研究了在多种自然语言上使用人工语言对LLM进行预训练（预预训练）是否始终能提升token效率，发现其收益高度依赖于实验设置和随机种子，尽管对于使用Llama分词器的小模型，稳定收益在多数语言中出现。
S2T-RLHF提出了一种句子到令牌的奖励分解框架，通过在句子粒度上分配序列级奖励，提高了偏好型RLHF的训练稳定性和鲁棒性，避免了过度细粒度的令牌级精化带来的不稳定性。
本文提出QUADS，一种通过对齐训练端和推理生成端的量化误差来稳定混合专家大语言模型的NVFP4强化学习的方法，实现了BF16级别的精度，并且吞吐量高于FP8。
本文介绍了单rollout异步优化（SAO）技术，用于解决LLM后训练中异步RL的稳定性和异策略挑战，并证明SAO在智能体编码和推理基准测试上持续优于GRPO。
清华大学的SAO算法解决了大规模语言模型异步强化学习中的稳定性和离策略漂移问题，在智能体编程和推理基准测试上相比GRPO取得了稳定提升，并用于训练GLM-5.2模型。
信任区域策略蒸馏（TOP-D）通过动态构建近端教师来稳定在线策略蒸馏，提供理论收敛保证，并在数学推理任务中实现零额外开销的实证收益。
本文介绍了FADE（Focal Advantage with Dynamic Entropy），一种自适应优势函数，能在大型语言模型的强化学习后训练过程中动态调度梯度权重，与静态基线相比，实现了更快的收敛和更好的准确率-多样性平衡。
一篇博客文章，总结了十个最新的智能体强化学习框架和最佳实践，涵盖模块化接口、轨迹结构、动作掩码、过程奖励、优势归一化、可扩展的 rollout、稳定性/探索以及任务课程。
本文分析了RLVR训练中的token级梯度动态，揭示了优势符号与token概率如何共同影响更新稳定性，并提出了Winner Advantage Policy Optimization（WAPO），该方法仅在正优势的完成序列上执行裁剪更新，以提高稳定性。
AAD-1 引入具有分阶段训练的非对称对抗性蒸馏，以实现一步自回归视频生成，在 VBench 上优于先前方法。
Fern 宣布了一种新的正则化技术，解决了 SolidGoldMagikarp 稳定性问题，详情将在后续帖子中说明。
DVAO 根据奖励方差自适应地加权目标，以提升多奖励强化学习的训练稳定性和多目标性能。
本文识别出梯度振荡和残差爆炸是循环Transformer训练不稳定的原因，并提出了全循环Transformer，包含两个无需参数调整的修改（全循环架构和注意力注入），能够稳定训练至12次循环迭代，在下游任务性能上实现了高达13.2%的提升。
本文介绍了 LBW-Guard，一个位于 AdamW 优化器之上的受限自主训练控制治理层，用于监测遥测数据并在训练过程中施加受限控制，展示了在压力条件下困惑度的改善和训练速度的提升。
提出隐式行为策略优化（IBPO），一种基于反事实比较的信用分配框架，通过将稀疏的终端奖励转化为对步骤敏感的学习信号，提升了大型语言模型在多步推理任务中的训练稳定性和性能。
作者宣布发布其首篇AI研究论文STAM（自适应动量的稳定训练），这是一种新的深度学习优化器，旨在解决训练的稳定性和资源效率问题，并邀请AI社区提供反馈。