论文页面 - PACT：从信用分配到评论家对齐

来源：https://huggingface.co/papers/2609.26355

摘要

强化学习已成为大型语言模型（LLM）后训练的核心组成部分，但标记级别的信用分配缺乏普遍接受的数学定义，导致其与常用训练信号的关系不明确。我们制定了三个正则条件，即完整性、前缀一致性和中立性，并证明它们唯一确定了标记级别的信用分配。这一特性为解释现有算法中的现象提供了统一基础，并指导了改进的演员-评论家训练流程的开发。通过这一视角，在策略内蒸馏（OPD）中理想的教师充当隐式评论家，产生的期望策略梯度与由标记级别信用分配诱导的梯度成比例。响应级别的REINFORCE留一法（RLOO）信号尽管粒度较粗，但与标记级别信用分配的期望策略梯度贡献相匹配。我们进一步在有界结果奖励下建立了近似信用稀疏性，并展示了广义优势估计（GAE）中的中间评论家误差如何可能与底层信用分配相当。这启发了策略对齐评论家训练（PACT），它采用演员-然后-评论家的更新顺序，对评论家训练应用重要性采样校正，使评论家与更新后的策略更好对齐。在代理数学推理任务中，PACT在四个基准测试上平均准确率达到72.87%，分别比GRPO和PPO高出8.80和13.16个百分点。在SWE-bench验证集上，PACT达到67.4%的通过率，分别比PPO、GRPO和SAO高出2.4、2.0和3.8个百分点。

查看 arXiv 页面 (https://arxiv.org/abs/2609.26355)查看 PDF (https://arxiv.org/pdf/2609.26355)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.26355)

获取此论文到你的代理：

hf papers read 2609\.26355

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2609.26355 以从此页面链接它。

引用此论文的数据集0

没有数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2609.26355 以从此页面链接它。

引用此论文的 Space0

没有 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2609.26355 以从此页面链接它。

包含此论文的收藏夹1