论文页面 - HINT-SD：面向长周期智能体的针对性事后自蒸馏

来源：https://huggingface.co/papers/2605.17873

摘要

HINT-SD 是一个针对性自蒸馏框架，能从完整轨迹中选择与失败相关的动作，从而提升长周期 LLM 智能体训练的效率与效果。

使用强化学习（https://huggingface.co/papers?q=reinforcement%20learning）训练长周期 LLM 智能体具有挑战性，因为稀疏的结果奖励只能反映任务是否成功，却无法揭示是哪些中间动作导致了该结果，以及应如何修正这些动作。近期方法通过从回合级动作-输出信号中生成奖励或文本提示，或利用反馈条件自蒸馏（https://huggingface.co/papers?q=self-distillation）来缓解这一问题。然而，当大量中间回合已经成功或中性时，在每个回合都生成反馈效率低下；而在固定或不对齐的回合应用反馈，往往无法监督导致失败的动作。为弥补这一差距，我们提出 HINT-SD，这是一个针对性自蒸馏（https://huggingface.co/papers?q=self-distillation）框架，它利用完整轨迹的事后洞察（https://huggingface.co/papers?q=hindsight）来选取与失败相关的动作，并仅在目标动作片段上应用反馈条件蒸馏（https://huggingface.co/papers?q=feedback-conditioned%20distillation）。在 BFCL v3 和 AppWorld 上的实验表明，我们的方法相比密集的每回合反馈基线最高提升 18.80%，同时每个训练步骤的时间降低 2.26 倍，从而表明选择蒸馏位置是实现长周期智能体有效且高效训练的关键因素。

查看 arXiv 页面 (https://arxiv.org/abs/2605.17873) 查看 PDF (https://arxiv.org/pdf/2605.17873) 添加到集合 (https://huggingface.co/login?next=%2Fpapers%2F2605.17873)

在你的智能体中获取这篇论文：

hf papers read 2605\.17873

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

尚无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.17873 以在此页面进行链接。

引用此论文的数据集 0

尚无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.17873 以在此页面进行链接。

引用此论文的 Space 0

尚无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2605.17873 以在此页面进行链接。

包含此论文的集合 0

尚无包含此论文的集合

将此论文添加至集合 (https://huggingface.co/new-collection) 以在此页面进行链接。