论文页面 - 通过强化学习逐步生成智能体技能

来源：https://huggingface.co/papers/2608.01678

摘要

现有的技能生成方法主要依赖启发式规则或流水线式的整合方式，这些方法必须针对不同的证据来源进行专门设计。相比之下，基于学习的方法提供了一种更统一的方式来对跨异构来源的技能生成进行建模。然而，基于学习的技能生成仍然具有挑战性，因为技能缺乏基于相关性或正确性的自然监督信号；它们的价值在很大程度上只能通过其是否改善智能体在下游任务上的行为来判断。为了应对这一挑战，我们提出了 Skill-α，一种用于逐步生成高质量智能体技能的强化学习方法。具体来说，我们将技能生成建模为一个序列化编辑过程，将技能构建分解为可单独评估的编辑操作，并引入一种新颖的回滚奖励机制，该机制通过在锚定查询上比较原始技能和编辑后技能的下游执行效果来评估每次编辑。大量实验表明，Skill-α 在文档到技能和体验到技能两种设置下，都能生成比基于启发式或流水线方法更有效的技能。在以 GPT-4o 为主要工作智能体的设置下，Skill-α 在 CL-Bench 上将平均下游成功率比最强的技能生成基线提高了 3.3 个百分点，在 tau2-bench 上提高了 6.7 个百分点。进一步的消融实验验证了回滚奖励和逐步生成机制的重要性。

查看 arXiv 页面 (https://arxiv.org/abs/2608.01678)查看 PDF (https://arxiv.org/pdf/2608.01678)GitHub1 (https://github.com/ejhshen/skill-alpha)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.01678)

在你的智能体中获取这篇论文：

hf papers read 2608\.01678

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2608.01678 即可从此页面关联该模型。

引用此论文的数据集0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.01678 即可从此页面关联该数据集。

引用此论文的 Space0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2608.01678 即可从此页面关联该 Space。

包含此论文的收藏集0

暂无收藏集包含此论文

将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 中即可从此页面关联该收藏集。