标签
强化学习（RL）可以通过一种名为数据接种（Data Inoculation）的技术，辅助机器人在示范过程中的数据采集，提高用于行为克隆和强化学习的数据质量，一篇关于堆叠方块的新论文展示了这一点。
Google 与香港大学的一篇论文提出 VeriCUA，通过检查已保存的文件和应用状态来验证计算机使用智能体的任务，而非信任智能体自身的完成报告，将误报率从 VLM 评审器的 24.8% 降至 5.4%。
NVIDIA 推出 Cosmos 框架，这是一个开放的模块化平台，用于训练、后训练、优化和部署面向物理 AI 的世界基础模型，涵盖 DPO、GRPO、PPO 等强化学习管线，并通过 Cosmos NIM 微服务进行模型服务化部署。
一篇技术文章介绍了 GPU 加速的权重传送（Weight Teleportation），这是一套 Blackwell 原生的 delta 权重同步流水线，可将采样器暂停时间降至 0.23 秒以下，端到端权重同步耗时降至 4 秒以内，适用于大规模强化学习（RL），在大多数工作负载上超越了集群内 P2P RDMA 方案。
GR.inc 发布了一篇详细的文章，介绍如何通过强化学习训练智能体群体，提出了 RLCR（基于集体奖励的强化学习）——一种采用平坦集体优势与延迟压力的共享策略策略梯度方法，旨在实现集体推理时扩展。
CUA-Master 提出嵌套双环递归改进框架，通过开放世界语料、自催化任务合成与反馈引导的快照回滚重试机制持续提升计算机使用代理（CUA）性能，其 27B 模型在 OSWorld Verified 等基准上取得竞争力表现。
该论文表明，在 GRPO 后训练过程中，即使输出中不包含任何与某种特征相关的语义痕迹，这种特征仍可仅通过评判模型的奖励分数传递给学生模型。论文还确立了一个由四个阶段组成的因果链，解释这种潜意识传递何时会发生，并揭示了其对 AI 安全倾向的影响。
SAT-ACT 是一种用于 CDCL 分支决策的学习框架，它从同一求解器状态下基于结果的展开轨迹中提取动作偏好，训练以状态为条件的网络来指导分支决策，并在降低搜索成本的同时，改善 SAT 竞赛基准上的 PAR-2 指标。
该论文介绍了 CivHarness，一个基于回放、用于在 Freeciv 中生成长时程反馈的系统，以及 CivTelescope，一个预测哪种游戏局面能带来更好结果的大语言模型评判器，旨在解决游戏内分数具有误导性的“积分榜陷阱”问题。使用 CivTelescope 作为密集奖励（CivMarshmallow）后，智能体在游戏中期取得了 8.94 分的提升，比最佳基线高出 77%。
RTL-Interact 是一种多任务后训练框架，用于训练单个专精于 RTL 的大语言模型，使其能够生成 RTL、构建 EDA 检查并利用工具反馈修改设计，同时结合模式感知策略优化（PAPO）进行多任务强化学习。在 CVDP 上，RTL-Interact-32B 的加权 Pass@1 达到 48.7%，Pass@5 达到 68.9%（超越 DeepSeek-V3.2），而 PAPO 将平均工具调用次数减少了 63.8%，且这些模型在 VerilogEval v2 和 RTLLM v2 上的表现优于专精于 RTL 的基线模型。
该论文介绍了 Noura，这是一个将可执行的个体化临床规范转化为监督信号的框架，用于基于大语言模型的饮食规划，使 Qwen3-14B 等小型模型能够显著提高多日膳食计划的合规性，并减少规则违反情况，优于更大模型直接生成的结果。
该论文提出了 CRoS，这是一种思维链（CoT）因果性指标，奖励在不改变推理步骤内容的情况下打乱其顺序，从而避免传统基于扰动的指标所带来的混杂效应。在 Reasoning Gym 上使用可验证奖励强化学习（RLVR）对 Gemma-3-4B 进行评估，结果表明，与现有的因果性奖励和结果奖励相比，CRoS 提高了域外准确率（46.8%，对比 43.8%）、思维链质量和思维链忠实度。
该论文介绍了 KEEPER，这是一项针对四种辅助目标的比较研究，旨在为长时程大语言模型智能体构建足以支持控制的文本记忆。研究发现，与奖励相关的预测能带来最佳任务表现，并提出自一致性偏差，用于衡量递归记忆更新中错误的持续程度。
CoFiBreak 提出一种粗到细的多样性奖励机制用于 GRPO 训练的多轮越狱攻击，在保持高效攻击的同时显著提升攻击策略多样性，并可迁移到未见过的前沿模型。
微软 Mage 团队推出 Mage-VL-Cowork，这是一套用于学习混合式计算机操作的完整训练方案（包括基于演化后的执行框架进行数据合成、多阶段监督微调，以及在线混合强化学习），其中的 4B 模型在 OSWorld-Verified 上取得了相对于其规模而言的优异成绩。
该论文提出了 Li2SAO，一种用于大语言模型后训练的轻量级异步强化学习方法。该方法先使用组相对演员-评论家自举来预热评论家，再切换到单次轨迹采样的广义优势估计（GAE），在训练早期即可追平或超越 GRPO，并提高后期的性能上限。
rl_rob 是一个开源的、从零实现的 Python 库，用于强化学习教学，涵盖从表格型时序差分（TD）方法、线性函数近似，到基于深度学习的价值方法和策略梯度方法，并提供清晰易懂、仅需几行代码的更新规则和统一的智能体接口。
微软 AI 推出 TalentRL，这是一种策略引导的强化学习框架，用于在大语言模型智能体的程序性记忆中进行分层路由，由粗粒度的“才能”指导细粒度技能的选择。该框架提高了七个问答基准上的成功率，并在采用 Qwen 和 Llama 作为骨干模型时，在 ALFWorld 上达到 99.3% 的成功率，在 WebShop 上取得 90.7 的得分。
一篇学术论文提出了一种相关私有量化方法，用于车联网中通信高效、满足局部差分隐私的联邦强化学习，并结合后量子认证；论文报告称，与独立量化相比，经认证的上行传输数据量减少了92.4%，平均行程时间降低了14.3%。
该论文采用上下文马尔可夫决策过程（MDP）来描述持续强化学习，将上下文划分为行为和物理两个组成部分，并使用 Dyna-Q 和 TD-MPC 在 FourRooms 任务中研究世界模型的零样本复用。研究发现，物理上下文的变化会显著降低复用效果，而影响程度取决于观测表示。论文指出，表示的泛化能力是持续强化学习中可靠复用世界模型的关键瓶颈。