credit-assignment

本文提出 Outcome-Conditioned Visual Credit (OVC) 框架，通过分离视觉关联测量与 token 级信用分配，改进多模态强化学习中的奖励分配，在三个模型的六项基准上较 GSPO 提升 1.86-2.39 个百分点。

DTCA introduces a token-level credit assignment framework for reinforcement learning in diffusion language models, measuring token contributions via confidence improvements and entropy calibration. Experiments on LLaDA-8B-Instruct show gains of up to 9.0 points on MATH500 and 5.3 points on GSM8K for mathematical reasoning.

本文提出 Multiscale Policy Optimization（MPO），通过在轮次尺度上对齐信用分配与策略更新（结合多尺度优势估计 MAE 和轮次级重要性采样）来改进长时程 LLM 智能体的训练，在搜索、工具使用和自动化任务上对 4B 和 30B-A3B 模型均取得一致增益。

S3AC 提出一种稳定的 Actor-Critic 训练方法与难度感知提示采样（DAPS），在不依赖分组 rollout 的情况下改进大模型的长链推理，性能优于 GRPO-X 等现代基线，并可在 35B 模型上维持单 rollout 训练。

ReAPO 提出一种基于随机最短路径视角的重试感知策略优化方法，对 GRPO 进行改进，将额外生成分配给失败轨迹以实现更有原则的信用分配，在 Qwen3 和 OLMo-2 系列模型的数学与科学推理基准上显著提升首次尝试性能并减少生成 token 数。

The paper introduces GRSE (Group-Relative Skill Evolution), a GRPO-inspired method that assigns behavioral credit to agent–skill pairs in cooperative LLM teams by contrasting repeated executions, improving skill evolution on HotpotQA and LoCoMo over prior methods.

The paper proposes Self-Credit, an agentic RL method that densifies sparse RLVR rewards via self-generated credit assignments and intra-group rescaling, achieving significant gains on BrowseComp-Plus, GAIA, and xBench-DeepSearch benchmarks with Qwen3 models.

提出 ETRO（Error-Truncated Hindsight Distillation），根据轨迹结果与错误边界路由正/负两类 hindsight 技能以实现细粒度 credit 分配，并让 post-error 后缀仅由 GRPO 优化，从而避免技能条件化监督与当前状态不匹配的问题。

论文提出 GRSE（Group-Relative Skill Evolution），通过重复执行并对比同一技能库下的多次运行，将共享团队奖励正确归因到具体的 agent-技能对上，从而改进协作式语言智能体的技能演化，在 HotpotQA 与 LoCoMo 上超越 MASkills 并能从有害技能中恢复。

The paper proposes OpCredit, an operation-aware policy-learning framework for agentic knowledge graph question answering that combines Branch Outcome Credit and Frontier Transition Credit to assign credit to individual operations instead of whole trajectories, showing consistent gains on ComplexWebQuestions, WebQSP, and GrailQA.

TreeOPSD 提出一种无批评者的树状后验自蒸馏框架，用于长时程智能体强化学习，通过将终局奖励递归回传为回合级信用并生成有界教师分布，在多个基准上显著优于 GRPO。

该论文提出 ForkGRPO，一个面向扩散大语言模型的强化学习框架，通过在高熵中间状态采样多个延续并进行段级信用分配，提升了探索效率与推理性能，相比 JustGRPO 最高提升 1.2 个百分点且减少 27.8% 的生成 token。

本文提出了一种用于评估模块化金融强化学习中信用分配的等信息评估框架，包含等信息重建控制、固定效用比较和预设下游保护措施，并通过三项受控研究揭示了冗余归因信号、表示诱导的预测权衡以及组件监督与下游风险结果的错配等三种评估失效模式。

PEARL提出了一种面向多轮智能体的强化学习方法，通过分支轨迹的首次分歧点构建局部决策特征，并利用成功/失败记忆聚类识别重复模式，从而在不引入额外critic的情况下改进信用分配。在AppWorld和ALFWorld基准上，PEARL在4B和8B规模模型上均超越了ARPO等基线，ALFWorld 4B达到97.9%成功率。

论文提出"执行后学习"（Learning after Execution）框架，将程序执行结果作为中间状态支持额外的纠正学习动作，并为初始动作与纠正动作分配不同的信用，在Image-to-TikZ任务上将渲染成功率提升至92.70%。

本文提出 Contextual Credit Policy Optimization (CCPO)，一种无需价值critic的步级信用分配方法，通过上下文相似度加权的同伴比较与未来进度信号，为LLM智能体在长程任务中的强化学习提供更精细的优势估计，在ALFWorld和WebShop上显著优于GRPO。

WorkRover is a framework for training long-horizon cowork agents through recursive environment evolution, introducing Factorial Compatibility Replay and Verifier-to-Turn Credit Assignment to improve training signals. Post-training Qwen3.5-35B-A3B into WorkRover-35B-A3B yields large gains on JobBench, OfficeQAPro, and GDPvalv2 benchmarks.

提出SOAR（Source-Aware Reinforcement Learning），通过将外部证据与内部知识解耦为可观测的并行流并引入Source-Consistent Reward，实现搜索代理的精确信用分配；在3B和7B模型上分别提升7.3%和5.4%，并将证据伪造率降低74.8%。

TreeHCA 提出将后见比率引导的探索与后见信用分配耦合，通过参考答案似然变化重建中间历史并生成替代续写，形成推理与工具交互树，并用归一化树回传将终局结果传播为回合级优势，在七个问答基准和三个 Qwen 主干上超越所有基线。

该论文提出 Tracking-Value PPO（TPPO），通过在对数几率空间对前缀值进行贝叶斯分解，构建累积值参数化以更好地跟踪语言模型推理中的值演化。TPPO 在 Qwen3-4B-Base 和 Qwen3-8B-Base 上分别比 PPO 提升 7.0 和 8.4 个数学推理分数点，并改善了分布外泛化能力。