论文页面 - ASCENT：通过验证经验的自我蒸馏实现长期智能体的在线测试时训练

来源：https://huggingface.co/papers/2610.05303

摘要

一个大型语言模型（LLM）智能体通过多轮推理-行动来完成长时程任务，终止时只有一个验证信号。部署中的智能体面对的是一系列相关任务，因此它们的执行轨迹是天然的改进资源。上下文自适应智能体将反思、记忆或技能以文本形式存储，因此复用取决于能否检索到正确的经验，以及由冻结的策略来执行。我们研究了在线智能体测试时训练（Online Agentic Test-Time Training, OaTTT），它在部署过程中针对 LLM 自身的执行轨迹更新模型权重。智能体对每个任务只执行一次，对任务流只做一遍遍历，而这次执行的轨迹及其验证结果是权重更新的唯一学习信号，且这些更新会在任务之间持续存在。直接模仿或强化这唯一一次尝试所生成的 token 会导致策略不稳定。我们提出了 ASCENT（Agentic Self-distillation for Cross-task EvolutioNat Test-time，即跨任务测试时演化的智能体自我蒸馏），它改为对验证经验进行自我蒸馏。LLM 的一个稳定版本——即它的冻结初始副本——将验证轨迹作为特权信息接收，并在此后见（hindsight）视角下预测轨迹上的下一个 token 分布。将这些分布蒸馏进持久化的 LoRA 快速权重，就能在后续任务中更新智能体，无需外部参考解或更强的教师模型。通过进一步去除无效行动轮次，ASCENT 能蒸馏得到增强的特权经验，从而实现更高效的执行。我们刻画了它的总体目标以及稀疏结果选择的局限性。在不同模型规模下的 ALFWorld、WebShop 和 AppWorld 上，ASCENT 随着经验积累提升了任务成功率和交互效率，优于在线自适应方法，并能迁移到未见过的场景，表明智能体可以在无需独立训练阶段或记忆检索的情况下，将验证经验巩固到其权重之中。项目主页：https://artificer-ai-lab.github.io/ASCENT

查看 arXiv 页面 (https://arxiv.org/abs/2610.05303) 查看 PDF (https://arxiv.org/pdf/2610.05303) 项目主页 (https://artificer-ai-lab.github.io/ASCENT/) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.05303)

引用此论文的模型 0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.05303，即可从本页面链接到该论文。

引用此论文的数据集 0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.05303，即可从本页面链接到该论文。

引用此论文的 Spaces 0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.05303，即可从本页面链接到该论文。

包含此论文的收藏 0

没有收藏包含此论文

将此论文加入收藏 (https://huggingface.co/new-collection)，即可从本页面链接到它。