论文页面 - DeltaTTG：使用 Token-to-Go 进度计训练多轮智能体

来源：https://huggingface.co/papers/2610.17666

摘要

具有可验证奖励的强化学习（RLVR）在多轮智能体中的应用依赖于稀疏的终端奖励，而这些奖励对各个步骤的信息量非常有限。组内步骤比较依赖于可靠的状态匹配和足够多样的采样结果，而直接对步骤进行评分则可能需要昂贵的外部评估器、人工标注或任务特定的启发式规则。我们提出 DeltaTTG，通过一个共享的进度计来学习可复用的进度信号，利用来自多样化策略的已记录轨迹进行低成本监督，无需任务特定的进度规则。其监督目标——Token-to-Go（TTG），即完成任务还需生成的 token 数量——作为剩余完成工作量的可观测代理。在 Actor 训练过程中，冻结进度计的估计变化会在不改变奖励的情况下，在各步骤之间重新分配由结果推导的优势值，同时保持每条轨迹的优势符号和 token 平均尺度不变。在 ALFWorld、PaperSearchQA 和 BFCLv3 上，DeltaTTG 分别使用 Qwen3-4B 和 Llama-3.1-8B-Instruct 将平均得分较 GRPO 提升了 5.7 和 7.2 个点，在所有对比的 RL 基线中平均表现最优，同时将 Actor 训练的 GPU 小时数保持在接近 GRPO 的水平。进一步实验表明，该方法提升了样本效率和跨领域性能，并验证了进度计在不同 Actor 规模下区分步骤质量和引导测试时动作选择的能力。代码已开源：https://github.com/Xuyan923r/DeltaTTG

查看 arXiv 页面 (https://arxiv.org/abs/2610.17666) | 查看 PDF (https://arxiv.org/pdf/2610.17666) | GitHub1 (https://github.com/Xuyan923r/DeltaTTG) | 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.17666)

将此论文导入你的智能体：

hf papers read 2610.17666

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型：0

暂无模型关联此论文。

在模型 README.md 中引用 arxiv.org/abs/2610.17666 即可在此页面关联。

引用此论文的数据集：0

暂无数据集关联此论文。

在数据集 README.md 中引用 arxiv.org/abs/2610.17666 即可在此页面关联。

引用此论文的 Spaces：0

暂无 Space 关联此论文。

在 Space README.md 中引用 arxiv.org/abs/2610.17666 即可在此页面关联。

包含此论文的合集：0

暂无合集包含此论文。

将此论文添加到合集 (https://huggingface.co/new-collection) 即可在此页面关联。