论文页面 - X-Tree：将可复用经验进行分词，以实现高效的智能体泛化

来源：https://huggingface.co/papers/2609.32993

摘要

多步智能体是在扁平的动作流上进行训练的：SFT 和 RLVR 对每个 token 施加均匀的权重，忽略了跨任务反复出现的子过程，也忽略了让人类能够自顶向下地从可复用例程中进行规划的层级结构。这种结构被闲置不用，扁平化训练对每条稀缺轨迹的利用程度远低于其内容所能支撑的上限。近期的智能体确实用到了这种结构，但仅以 LLM 编写的技能形式存在于上下文中，从未纳入模型权重，因此其收益无法在检索之外泛化。我们则从数据本身中恢复出这一层级结构并在其上进行训练，全程无需调用 LLM。遵循文本分词器仅靠计数来构建词表的思路，我们根据可复用性为动作片段打分，并将规范化后的动作合并为一棵可复用的经验树（eXperience Tree，X-Tree）。X-Tree 的每个节点刻画了一个高频且能带来成功结果的技能是如何由子技能组合而成的，从而引导高效的泛化。我们将 X-Tree 集成到三种训练设置中：离线 RL，以每个节点作为一个训练实例；在线 RLVR，采用自适应技能加成（skill bonus）；以及 on-policy 自蒸馏，以 X-Tree 作为自我教师的特权上下文（privileged context）。在 WebArena、ScienceWorld 和 WebShop 三个基准上、三个模型规模下，X-Tree 在相同数据量与预算下相比标准训练配方最多带来 4.5% 的 WebArena 成功率（SR）提升、5.8% 的 ScienceWorld SR 提升和 4.1% 的 WebShop 成功率提升。对照分析将这些收益归因于 X-Tree 的结构及其三种集成方式。

[查看 arXiv 页面 (https://arxiv.org/abs/2609.32993)] [查看 PDF (https://arxiv.org/pdf/2609.32993)] [项目页面 (https://sitaocheng.github.io/xtree/)] [GitHub1 (https://github.com/sitaocheng/X-Tree)] [加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.32993)]

在你的智能体中获取这篇论文：

hf papers read 2609.32993

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型 0

尚无模型关联本论文

在模型 README.md 中引用 arxiv.org/abs/2609.32993，即可在此页面建立关联。

引用本论文的数据集 0

尚无数据集关联本论文

在数据集 README.md 中引用 arxiv.org/abs/2609.32993，即可在此页面建立关联。

引用本论文的 Space 0

尚无 Space 关联本论文

在 Space README.md 中引用 arxiv.org/abs/2609.32993，即可在此页面建立关联。

收录本论文的合集 0

尚无合集收录本论文

将本论文添加到合集 (https://huggingface.co/new-collection)，即可在此页面建立关联。