标签
解释了为什么前沿 AI 模型经常表现得粗鲁或不服从，引用前 Meta 工程师 Kun Chen 关于 RLHF 和 RLVR 训练的观点，这些训练优化的是任务成功而非对人类友好的交流。
This paper proves that using error-penalized scoring rules with abstention as a discrete action can kill both the reward gradient and the KL anchor, causing models to collapse toward refusing everything. It proposes a structural repair — training a mandatory confidence report — and validates the mechanism with simulations and language model experiments.
推荐斯坦福大学CS329A课程，关于自我改进的AI智能体，涵盖scaling law、思维链、RLHF、推理模型等内容。
提出 LatentRM，一种奖励建模框架，将中间推理轨迹作为离散潜在变量学习，以显式最大化下游标量奖励似然，从而改进分布内和分布外任务上的偏好建模与策略对齐。
MeRLa 是一个用于 RLHF 的元学习奖励塑造框架，通过学习任务特定的塑造函数来改善对齐，在多个基准上取得了最先进的结果，并显著降低了训练不稳定性。
提出可靠性引导的偏好优化（RGPO）方法，通过估计标注者可靠性并基于共识动态调整训练，处理LLM对齐中的不一致人类反馈，性能优于标准RLHF方法。
S2T-RLHF提出了一种句子到令牌的奖励分解框架，通过在句子粒度上分配序列级奖励，提高了偏好型RLHF的训练稳定性和鲁棒性，避免了过度细粒度的令牌级精化带来的不稳定性。
本文提出了一项系统研究，比较了RLHF流程中用于奖励模型评分的C++和PyTorch推理运行时，发现ONNXRuntime在CPU上提供加速，而torch.compile在GPU上领先，且批处理策略比语言或运行时选择更为重要。
本文引入了一种用于直接对齐算法（DAAs）的正则化技术，该技术保持归一化的响应概率，从而缓解过度优化和似然偏移。该方法提升了生成质量和基准性能，在AlpacaEval2上实现了超过20%的相对提升，并在Llama-3.1-8B-Instruct的通用基准上获得9%的性能增益。
本文识别并形式化了RLHF偏好数据中的评估者状态偏差，即标注者的情绪状态可能混淆偏好标签。它提出了一个包含可证伪预测的审计框架来检测此类偏差。
解释RLHF/PPO中的token级别拒绝采样，其中重要性比率M_t是词汇表上的最大值，token根据w_t / M_t进行伯努利采样接受。
本文探讨了将强化学习应用于缺乏明确可验证性任务的挑战，引用了Dario Amodei关于实现“数据中心中的天才之国”的预测，并讨论了RLVR、RLHF、Constitutional AI以及Scale AI的基于规则的奖励等技术。
本文分析讨论了使用可验证奖励的强化学习（RLVR）在数学和编程中的局限性，以及将强化学习扩展到主观或不可验证任务（如规划或科学发现）所面临的挑战。文章还探讨了RLHF和Constitutional AI等技术作为对齐的替代方案。
本文介绍了Retroactive Advantage Correction (RAC)，这是一种用于延迟感知RLHF的闭合形式偏差校正方法，通过将延迟奖励排队并使用V-trace风格的裁剪残差更新重新注入，来处理异步奖励信号。
介绍PEBS，一种用于RLHF中奖励模型校准的每个评分者经验贝叶斯收缩估计器，在PRISM上将用户内RMSE降低了超过8.5%，在PluriHarms上降低了超过9.6%。
本文认为强化学习中的奖励模型往往过于敏感，对同样好的回答给出不同分数，并提出了一个基于Monte Carlo dropout的免训练离散化算法来降低过度敏感性，从而提高策略质量。
Nathan Lambert宣布他的目标是创建一个学习RLHF后训练的综合枢纽，包括书籍、讲座、代码和社区资源。
本技术报告介绍了 Qwen-Image-2.0-RL，这是一个基于强化学习与人类反馈及在策略蒸馏的后训练流程，旨在提升图像生成与编辑任务中的视觉质量和指令遵循能力。
本文分析智谱GLM-5.2性能飞跃的原因，认为其40B激活参数在扣除固定开销后提供更大有效容量，使RL后训练更有效；同时回顾中国AI模型发展史，指出大模型路线最终获胜。
文章讲述了PPO算法作为ChatGPT核心对齐算法之一，曾在2017年被顶级AI会议NIPS拒稿，理由是创新性有限和提升不显著，揭示了学术界同行评审的弊端。