SkillForge：通过动态技能生命周期实现技能与智能体的协同进化

Hugging Face Daily Papers 论文
agentic-rl skill-lifecycle llm-agents memory-augmentation reinforcement-learning skill-library

摘要

SkillForge 提出了一种智能体强化学习方法，通过适应度驱动的试用期、活跃期、稳定期、退役期生命周期，实现 LLM 智能体与其技能库的协同进化。在交互式智能体基准上，该方法相对最强基线最高提升 7.8%；作者同时发布了 SkillFurnace——一个包含 5000+ 条记录的数据集，用于研究技能质量与生命周期管理。

记忆增强的强化学习提升了 LLM 智能体解决复杂长周期任务的能力。技能是记忆的一种形式，将指令与针对任务类型的适用条件配对。然而，在策略不断改进的过程中不加甄别地保留所有技能，会导致过时或有害的条目不断累积并误导智能体。我们提出 SkillForge——一种智能体强化学习方法，通过适应度驱动的技能生命周期（试用期、活跃期、稳定期、退役期）来编译并进化技能库，使技能与模型在整个训练过程中协同进化。在强化学习开始之前的评估阶段，先利用基础模型自身的轨迹预退役低适应度技能，从而得到一个经过筛选的库，用于后续的监督微调种子训练。强化学习从这一检查点接手：在每次迭代中，选择性退役、稳定化以及由 LLM 引导的变异，会在策略优化的同时继续锻造技能库。在多个交互式智能体基准上，SkillForge 取得了最高的总体成功率，相对最强基线最高提升 7.8%，同时在整个训练过程中保持技能库的紧凑。我们还发布了 SkillFurnace，一个包含 5000+ 条标注记录的数据集，涵盖经退役过滤的 SFT 轨迹、带适应度标注的进化技能库，以及带人工标注失败类别的退役事件，以支持对技能质量与生命周期管理的研究。
查看原文
查看缓存全文

缓存时间: 2026/10/08 12:16

论文页面 - SkillForge：通过动态技能生命周期共同进化技能与智能体

来源：https://huggingface.co/papers/2610.09832

摘要

记忆增强强化学习增强了 LLM 智能体解决复杂长程任务的能力。技能是记忆的一种形式，将指令与任务类型的适用条件配对。然而，在策略不断改进的过程中不加区分地保留所有技能，会导致过时或有害的条目不断累积，从而误导智能体。我们提出 SkillForge，一种智能体强化学习方法，通过试用（trial）、活跃（active）、稳定（stable）和退役（retired）状态构成的适应度驱动技能生命周期来编译和进化技能库，使技能与模型在整个训练过程中共同进化。预强化学习评估阶段首先利用基础模型自身的 rollout 预先退役低适应度技能，得到一个过滤后的技能库，进而用于监督微调（SFT）。强化学习从该检查点接手，在每次迭代中，选择性退役、稳定化以及 LLM 引导的变异与策略优化协同推进，持续打磨技能库。在多个交互式智能体基准测试中，SkillForge 取得了最高的综合成功率，相比最强基线最高提升 7.8%（相对），同时在整个训练过程中保持技能库的紧凑性。我们发布了 SkillFurnace 数据集，包含 5000+ 条标注记录，涵盖退役过滤后的 SFT 轨迹、附带适应度标注的进化技能库，以及带有失败类别人工标注的退役事件，以支持有关技能质量与生命周期管理的研究。

查看 arXiv 页面 (https://arxiv.org/abs/2610.09832) · 查看 PDF (https://arxiv.org/pdf/2610.09832) · 项目页面 (https://geyuyao.com/publication/ge2026skillforge/) · 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.09832)

在你的智能体中获取这篇论文：

hf papers read 2610.09832

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 3

YuyaoGe/SkillForge_Alfworld_7B 文本生成 • 8B • 约 7 小时前更新 • 85 (https://huggingface.co/YuyaoGe/SkillForge_Alfworld_7B)

YuyaoGe/SkillForge_Webshop_7B 文本生成 • 8B • 约 7 小时前更新 • 84 (https://huggingface.co/YuyaoGe/SkillForge_Webshop_7B)

YuyaoGe/SkillForge_Search_7B 文本生成 • 8B • 约 7 小时前更新 • 85 (https://huggingface.co/YuyaoGe/SkillForge_Search_7B)

引用本文的数据集 0

暂无与此论文关联的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.09832，即可将该数据集链接到此页面。

引用本文的 Space 0

暂无与此论文关联的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.09832，即可将该 Space 链接到此页面。

包含此论文的收藏夹 1

相似文章

SkillFlow：自主智能体终身技能发现与演化基准测试

Hugging Face Daily Papers

SkillFlow 推出了一个涵盖20个任务家族共166项任务的基准测试，用于评估自主智能体在终身学习协议下，随时间推移发现、修复并维护技能的能力。实验揭示了主流模型之间存在显著的能力差距：Claude Opus 4.6 通过技能演化获得了显著提升，而其他模型的收益有限甚至为负。

SkillFlow：流程驱动的递归技能演化用于智能体编排

arXiv cs.AI

SkillFlow 提出了一种基于流程驱动的递归技能演化框架，用于基于大语言模型的智能体编排，采用 Tempered Trajectory Balance 来防止策略崩溃并提供透明的信用分配。在 14 个数据集上的实验表明，在问答、数学、代码和决策制定任务中，该框架显著优于基线方法。

SkillClaw：让技能通过智能体进化器集体进化

Papers with Code Trending

SkillClaw 提出了一个框架，用于多用户 LLM 智能体系统中的集体技能进化，通过聚合交互和反馈，实现自主更新和跨用户知识转移，以提升整个生态系统的性能。