Paper page - Agentic强化学习中的动态技能生命周期管理

Source: https://huggingface.co/papers/2605.10923

Abstract

SLIM框架通过在agentic强化学习中优化与策略学习联合的活跃技能集来管理动态技能生命周期，在复杂任务环境中优于现有方法。

大型语言模型智能体 increasingly 依赖于外部技能 (https://huggingface.co/papers?q=external%20skills) 来解决复杂任务，其中技能作为模块化单元，扩展了其仅靠参数记忆所支持的能力。现有方法假设外部技能 (https://huggingface.co/papers?q=external%20skills) 要么作为持久性指导积累，要么内化到策略中，最终导致零技能推理。我们认为这一假设过于严格，因为参数容量有限且技能之间的边际贡献不均匀，最优活跃技能集是非单调的，且依赖于任务和阶段。在这项工作中，我们提出了SLIM，一种针对agentic强化学习 (https://huggingface.co/papers?q=agentic%20reinforcement%20learning) (RL) 的动态技能生命周期管理 (https://huggingface.co/papers?q=Skill%20LIfecycle%20Management) 框架，它将活跃的外部技能集视为与策略学习 (https://huggingface.co/papers?q=policy%20learning) 联合更新的动态优化变量 (https://huggingface.co/papers?q=dynamic%20optimization%20variable)。具体来说，SLIM通过留一技能验证 (https://huggingface.co/papers?q=leave-one-skill-out%20validation) 估计每个活跃技能的边际外部贡献 (https://huggingface.co/papers?q=marginal%20external%20contribution)，然后应用三种生命周期操作：保留高价值技能、在充分曝光后退出贡献变得微不足道的技能，以及在持续失败揭示能力覆盖不足时扩展技能库。实验表明，SLIM在ALFWorld和SearchQA上平均比最佳基线高出7.1个百分点。结果进一步表明，策略学习 (https://huggingface.co/papers?q=policy%20learning) 和外部技能保留 (https://huggingface.co/papers?q=skill%20retention) 并不互斥：一些技能被吸收进策略中，而其他技能继续提供外部价值，支持SLIM作为基于技能的agentic RL的更通用范式。

View arXiv page (https://arxiv.org/abs/2605.10923)View PDF (https://arxiv.org/pdf/2605.10923)GitHub2 (https://github.com/ejhshen/SLIM)Add to collection (https://huggingface.co/login?next=%2Fpapers%2F2605.10923)

在你的智能体中获取这篇论文：

hf papers read 2605\.10923

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有链接到这篇论文的模型

在模型README.md中引用arxiv.org/abs/2605.10923以从此页面链接它。

引用此论文的数据集0

没有链接到这篇论文的数据集

在数据集README.md中引用arxiv.org/abs/2605.10923以从此页面链接它。

引用此论文的Spaces0

没有链接到这篇论文的Space

在Space README.md中引用arxiv.org/abs/2605.10923以从此页面链接它。

包含此论文的集合0

没有包含这篇论文的集合

将此论文添加到一个集合 (https://huggingface.co/new-collection) 以从此页面链接它。