标签
本文介绍了Product-Unit Residual Networks（PURe），它将乘法乘积单元与残差连接相结合，显式建模非线性特征交互，相比标准MLP在准确性、鲁棒性和可解释性方面均有提升。
本文提出了CERO，一种用于LLM强化学习后训练的跨轮次自适应展开优化方法。该方法利用贝叶斯后验方差，在提示和轮次之间分配固定的展开预算，以最大化样本效率，实现了理论遗憾界，并在数学推理任务上优于GRPO。
CLaaS是一个系统，用于对部署中的LLM智能体进行持续学习，利用经验回放实现样本高效的在线适应。
刻意进化（DE）是一个智能体框架，通过将候选生成与搜索控制解耦，并结合自适应算子、结构诊断工具和反思性记忆，显著提升了基于大语言模型的符号回归效果，仅需标准样本预算的40%即可取得更优结果。
公平强化学习引入了民主对齐，以整合来自不同代理的多个竞争性价值集，克服了传统RLHF的局限性，并通过黑盒策略包装器实现了数量级更快的优化。
GPLD为DreamerV3引入了梯度惩罚潜在动力学正则化器，强制转换学习中的局部平滑性，提高了连续控制任务（尤其是复杂运动）的样本效率。
MIT研究人员提出了一种名为Pedagogical RL的新强化学习方法，该方法利用具有特权信息的教师模型和尖峰感知可学习性奖励，显著提高了样本效率和收敛速度，优于GRPO和OPSD等现有方法。
提出R2R2，一种用于强化学习中自预测学习的正则化方法，以缓解高更新-数据比下的过拟合，在连续控制任务上取得了显著改进。
本文认为，单一模型的单体型扩展不足以实现AGI，并提出具有多智能体协作的Agentic AI是必要的范式，理论上证明了代理系统在泛化和样本效率上具有指数级优势。
FEST是一种少样本演示引导的强化学习算法，通过结合监督信号、在线策略学习和加权训练以防止过拟合，仅需极少的监督微调数据即可实现强劲性能。
本文提出了一种使用交叉熵方法进行极端可靠性（“五九”）估计的样本高效框架，解决了标准基准测试在检测罕见故障方面的局限性。
本文介绍了Pinductor，一种利用语言模型先验从有限的观测-动作数据中高效学习POMDP世界模型的方法，其性能与具有特权隐藏状态访问的方法相当，同时超越了传统的表格方法。
FeatCal是一种校准方法，通过逐层权重更新（无需梯度下降）来缩小后合并模型的性能差距，在CLIP和GLUE基准测试上以高样本效率取得了优异结果。
一种针对LLMs的快慢学习框架，将固定的慢权重与优化的快上下文权重相结合，在持续学习场景中实现了高达3倍的样本效率提升，并减少了灾难性遗忘。
本文介绍了 DR.Q 算法，该算法通过最大化互信息并采用淡出优先经验回放，改善了 Q-learning 的模型化表示，从而减少了连续控制任务中的偏差和过拟合。
本文介绍了PNAPO，一种针对整流流模型的离线偏好优化框架，该框架通过噪声样本增强偏好数据，并采用动态正则化来提高训练效率和样本效率。
本文提出了 ROPD，一种基于评分细则的在策略蒸馏框架，相比传统的基于 logits 的方法，该框架在样本效率上表现更优。它通过使用结构化的语义评分细则而非教师 logits，实现了黑盒场景下的模型对齐。
StraTA 提出了面向长期任务 LLM 智能体的策略轨迹抽象方法，通过分层 GRPO 风格的 rollout、多样化策略采样和批判性自判断机制，在样本效率和最终性能上超越了前沿模型和先前 RL 基线。
# 面向大语言模型/视觉语言模型强化学习的鲜度感知优先经验回放 来源：[https://arxiv.org/html/2604.16918](https://arxiv.org/html/2604.16918) Weiyu Ma1 Yongcheng Zeng2 Yan Song3 Xinyu Cui2 Jian Zhao4 Xuhui Liu1 Mohamed Elhoseiny1 1 阿卜杜拉国王科技大学 (KAUST) 2 中国科学院自动化研究所 (CASIA) 3 伦敦大学学院计算机科学系人工智能中心 4 中关村人工智能研究院 weiyu\.