论文页面 - SkillLearnBench：面向真实任务智能体技能生成的持续学习方法基准测试

来源：https://huggingface.co/papers/2604.20087

摘要

面向 LLM 智能体的持续技能学习方法在不同任务上表现不一，提升幅度取决于任务结构与反馈机制，而非模型规模。

技能已成为让 LLM 智能体（https://huggingface.co/papers?q=LLM%20agents）完成复杂真实任务的事实手段，通过定制指令、工作流和工具实现，但如何自动、高效地学习技能仍不清楚。我们提出 SkillLearnBench，首个评估持续技能学习（https://huggingface.co/papers?q=continual%20skill%20learning）方法的基准，涵盖 20 个经过验证、依赖技能的任务（https://huggingface.co/papers?q=skill-dependent%20tasks），分布在 15 个真实技能分类（https://huggingface.co/papers?q=real-world%20skill%20taxonomy）子领域，从技能质量、执行轨迹（https://huggingface.co/papers?q=execution%20trajectory）与任务结果（https://huggingface.co/papers?q=task%20outcome）三个层面评估。利用该基准，我们评估了近期持续学习技术（https://huggingface.co/papers?q=continual%20learning%20techniques），包括单次、自/师反馈（https://huggingface.co/papers?q=teacher%20feedback）以及技能生成器（https://huggingface.co/papers?q=skill%20creator）从智能体经验中生成技能的方法。结果发现，所有持续学习方法均优于无技能基线，但稳定提升仍难实现：没有任何方法在所有任务和 LLM 上领先，扩展至更强 LLM 也不总能带来收益。持续学习在具有清晰、可复用工作流的任务上表现更好，而在开放式任务上表现不佳；使用更强的 LLM 主干并不必然产生更优技能。分析还发现，持续学习中的多轮迭代借助外部反馈可实现真正改进，而仅依赖自反馈（https://huggingface.co/papers?q=self-feedback）会导致递归漂移（https://huggingface.co/papers?q=recursive%20drift）。我们的数据与代码已开源：https://github.com/cxcscmu/SkillLearnBench，以支持自动技能生成与持续学习技术（https://huggingface.co/papers?q=continual%20learning%20techniques）的进一步研究。

查看 arXiv 页面（https://arxiv.org/abs/2604.20087）
查看 PDF（https://arxiv.org/pdf/2604.20087）
项目主页（https://cxcscmu.github.io/SkillLearnBench/）
GitHub（https://github.com/cxcscmu/SkillLearnBench）
添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2604.20087）

在智能体中获取该论文：

hf papers read 2604.20087

未安装最新 CLI？
curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

暂无模型关联该论文

在模型 README.md 中引用 arxiv.org/abs/2604.20087 即可在此显示。

引用该论文的数据集 0

暂无数据集关联该论文

在数据集 README.md 中引用 arxiv.org/abs/2604.20087 即可在此显示。

引用该论文的 Spaces 0

暂无 Space 关联该论文

在 Space README.md 中引用 arxiv.org/abs/2604.20087 即可在此显示。

收录该论文的合集 0

暂无合集收录该论文

创建新合集 并将该论文加入即可在此显示。