标签
本文提出上下文信用策略优化（CCPO），一种无需价值评估器的步骤级信用分配方法，通过上下文相似度加权的同伴比较与未来进度信号，为大语言模型智能体在长程任务中的强化学习提供更精细的优势估计，在 ALFWorld 和 WebShop 上显著优于组相对策略优化（GRPO）。
该论文提出了 HICO-Bench 基准，包含 180 个日常协调场景，通过配对世界中可验证的结果来评估社交代理，并提出了 PaCPO（配对信用策略优化）方法，将 Qwen3-8B 的已验证成功率从 20.4% 提升至 28.3%。
一位 OpenAI 安全研究员警告称，自 RLHF 以来，在对齐研究尚未取得根本性进展的情况下追求递归式自我改进，是前所未有的愚行，凸显了 AI 能力与安全研究之间的差距。
作者提出 LLM 幻觉源于 RLHF 强制模型在 Token 1 无条件承诺（Promise），导致生成过程中无法反悔只能编造 API；建议用 Winograd/Flores 对话行动状态机的『Zero-Shot Flores Handshake』显式授权模型先反问或拒绝，再生成代码。
提出一种无需人工偏好标注的多模态奖励建模方法：在冻结的 Qwen3-VL 骨干网络的中间层上训练线性探针，通过扰动字幕对比进行训练，在多个基准上达到或超过 GPT-4o，且微调计算量仅为千分之一。
微软发布 AesCode-8B 与 AesCode-32B 模型，可依据图像美学参考生成信息丰富的可视化产物（如幻灯片、海报、仪表盘）为结构化 HTML/CSS 代码，通过图结构监督与解耦的跨模态奖励解决视觉布局与内容准确性的权衡。
LatentGRM 提出了一种基于语义分块与压缩重建的潜在评估框架，通过在连续隐空间中完成 rubric 引导的成对偏好判断，将评估轨迹压缩 8.9–9.2 倍并把推理时间减少 6.1–7.0 倍，同时保持与显式 SFT 评委相当的偏好准确率。
ConvoDrift 提出了一个用于在固定语义意图下建模风格语气渐进式漂移的多轮对话数据集，包含 15,727 个带风格漂移标签和基于人设条件的偏好对的对话结构，并通过人工标注、大模型即裁判（LLM-as-judge）以及词汇/语义评估进行了验证。
来自 Meta Superintelligence Labs 的一篇论文表明，配备轻量推理框架的预训练大语言模型能够充当有能力的智能体，在给予足够的测试时采样预算时，甚至能超越经过强化学习后训练的同类模型。
MatrixReward 提出通过构建「按生成结果×评分标准」的胜率矩阵来为开放式生成任务构建奖励，并利用列展开度与相关性统计量推导出依赖于数据的评分标准权重与理想分布。该方法在四个基准测试上使用 Qwen3-8B 进行评测，平均得分达 63.02，比最强基线高出约 2%。
ProVer 论文针对智能体强化学习中信用分配的关键决策问题：让一个 LLM 评审对比成功与失败的 rollout，提出一条关键轨迹片段，然后在该片段前后分别采样 rollout，以此估计该片段的优势值。在 Qwen3.5-2B 和 Qwen3.5-4B 上，跨 ALFWorld、WebShop 和 SearchQA 数据集，相比 GRPO 分别提升 9.91% 和 7.12%。
Hugging Face 发布了一份关于多框架强化学习的全面指南，引起了 AI 社区的广泛关注。
来自EPFL和University of Helsinki的研究者提出了不确定性归一化间隔DPO（UNM-DPO/ULNM-DPO-WR），该方法将偏好强度间隔与学习到的依赖提示的不确定性尺度及长度归一化相结合，在使用Llama-3.1-8B-Instruct策略模型时，于HelpSteer2/3和AlpacaEval上取得了优于DPO和SimPO的胜率表现。
本文重新审视了AI对齐中奖励优化的缩放定律，表明性能随 Θ(√min{log(M), K}) 扩展，其中 M 为偏好数据量，K 为 KL 散度预算；文中还提出了一个信息论模型，并使用代理奖励模型进行了大量的实证验证。
该论文提出 Robust Nash Alignment，一个面向不确定成对偏好的博弈论对齐框架，通过主-对偶代理博弈与乐观镜面下降-上升算法，实现了对最坏情况胜率的认证下界，并在 LLM 对齐实验中优于基线方法。
MetaRubric 通过交替进行证据感知的策略优化与响应引导的评分标准适配，解决基于评分标准的强化学习中「空洞奖励（Vacuous Credit）」问题，在 PubMedQA 上比静态评委 GRPO 提升 6.00–20.40 个百分点。
该论文提出了一种位置选择性自蒸馏方法，用于利用自然语言反馈训练 LLM 评判模型。该方法通过逐位置的熵变化来屏蔽容易记忆的词元，在主观任务上将分布外泛化能力提升了 2–9 个点，优于 GRPO 等结果监督强化学习方法。
该论文将一种现象形式化：把 LLM 评委的评分量表坍缩为二值化的通过/失败，会隐藏策略奖励信号中准则级别的质量变化。论文在联合高斯模型下证明，至少需要三个评分等级才能消除这种歧义，并在 MATH 和 SciBench 上的实验确认：二值化的拉伸不可见，而使用三个等级则可以被检测出来。
本文提出了面向密度的奖励聚合方法（Density-Aware Reward Aggregation，DARA），它基于活跃组密度采用平方根倒数密度加权，对逐奖励归一化的多奖励强化学习进行校正，从而减少不同奖励之间的信号失衡。在工具调用和数学推理上的实验表明，DARA 分别在比 GDPO 最多减少 26% 和 65% 的训练步数内达到了较高的格式/长度合规率。