论文页面 - TurnSight：用于工具集成推理的回合级事后自我蒸馏

来源：https://huggingface.co/papers/2608.04007

摘要

工具集成推理（TIR）使大型语言模型（LLM）能够通过迭代式工具交互解决复杂任务。然而，现有的强化学习方法通常依赖轨迹级监督，这限制了在长视野 TIR 场景中的细粒度信用分配。在线策略自蒸馏通过具有特权上下文的教师分支提供更密集的信号，但现有方法通常从地面真值答案或检索到的技能中提取此类上下文，这可能无法反映智能体实际访问的状态。此外，令牌级监督无法捕捉工具交互的回合级结构。为解决这一问题，我们提出了 TurnSight，一个回合级事后自我蒸馏框架，它直接从基于执行条件的事后视角中导出监督信号。然后，它构建多个具有不同前瞻视野的事后视角，并通过跨视野方向一致性选择可靠的监督信号。最后，所选的事后信号在同源轨迹中进行归一化，并用于自适应地调节强化学习优势，同时保持其原始的优化方向。在三个基准上的大量实验证明了 TurnSight 的有效性。我们的代码可在 https://github.com/quchangle1/TurnSight 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2608.04007) 查看 PDF (https://arxiv.org/pdf/2608.04007) 项目页面 (https://huggingface.co/collections/ChangleQu/turnsight) GitHub0 (https://github.com/quchangle1/TurnSight) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.04007)

在您的智能体中获取这篇论文：

hf papers read 2608\.04007

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2608.04007 即可从本页链接到该模型。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.04007 即可从本页链接到该数据集。

引用此论文的 Space 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2608.04007 即可从本页链接到该 Space。

包含此论文的集合 1