论文页面 - SkillEvolBench：评估从情节经验到过程性技能的演化

来源：https://huggingface.co/papers/2605.24117
作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

当前大型语言模型智能体难以从情节经验中形成稳健的可复用技能，由于丢弃了上下文线索，原始轨迹复用往往优于蒸馏后的技能。

大型语言模型（LLM）智能体在解决现实世界任务时会累积丰富的情节性轨迹（https://huggingface.co/papers?q=episodic%20trajectories），但这些经验能否被蒸馏成可复用的过程性技能（https://huggingface.co/papers?q=procedural%20skills）仍不明确。我们提出了 SkillEvolBench，一个用于评估从经验复用（https://huggingface.co/papers?q=experience%20reuse）到技能形成（https://huggingface.co/papers?q=skill%20formation）这一步骤的诊断基准（https://huggingface.co/papers?q=diagnostic%20benchmark）。该基准包含 180 个任务，横跨六个现实世界智能体环境，并按角色条件任务族（https://huggingface.co/papers?q=role-conditioned%20task%20families）组织，这些任务族共享潜在的过程。智能体从获取任务中学习，利用压缩后的轨迹和验证器反馈（https://huggingface.co/papers?q=verifier%20feedback）更新外部技能库（https://huggingface.co/papers?q=skill%20library），随后面对冻结的部署任务，测试上下文偏移、对抗性捷径和组合能力。通过比较自生成与策划起点技能演化相对于无技能和原始轨迹对照组，SkillEvolBench 将过程性抽象（https://huggingface.co/papers?q=procedural%20abstraction）与基础能力、策划先验知识和情节痕迹的直接复用分离开来。在十种模型配置和三种智能体框架下，我们发现当前智能体往往在局部适应，但很少形成稳健的可复用技能。基于技能的条件（https://huggingface.co/papers?q=Skill-based%20conditions）可以改善获取或重放，个别模型有时在特定部署维度上有所提升，但这些提升在冻结部署下并不稳定。原始轨迹复用往往优于蒸馏后的技能，表明当前的抽象过程丢弃了对未来任务仍有用的上下文和过程性线索。容量和成本分析进一步表明，编写更多技能或更大的 Tier-3 资源库并不足够：额外的更新可以在提高覆盖范围的同时引入情节特定漂移（https://huggingface.co/papers?q=episode-specific%20drift）和过程性杂乱（https://huggingface.co/papers?q=procedural%20clutter）。这些发现将 SkillEvolBench 定位为一个测试平台，用于衡量一次性经验何时会转化为持久的过程性知识而非任务局部记忆。

查看 arXiv 页面（https://arxiv.org/abs/2605.24117）查看 PDF（https://arxiv.org/pdf/2605.24117）项目页面（https://skillevolbench.github.io/）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.24117）

在您的智能体中获取本文：

hf papers read 2605.24117

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型0

没有模型链接本文

在模型 README.md 中引用 arxiv.org/abs/2605.24117 即可从此页面链接。

引用本文的数据集0

没有数据集链接本文

在数据集 README.md 中引用 arxiv.org/abs/2605.24117 即可从此页面链接。

引用本文的 Spaces0

没有 Space 链接本文

在 Space README.md 中引用 arxiv.org/abs/2605.24117 即可从此页面链接。

包含本文的收藏0

没有收藏包含本文

将本文添加到收藏（https://huggingface.co/new-collection）即可从此页面链接。