UniSkill：为持续演化的策略学习与 Actor 对齐的技能提案

Hugging Face Daily Papers 论文
llm-agents skill-learning reinforcement-learning reusable-skills alfworld webshop

摘要

UniSkill 提出一种共享策略与技能库共同演化的框架，通过对比动作反馈作为技能提案的 actor-alignment 信号，避免昂贵的额外 rollout，在 ALFWorld 达到 98.4% 成功率、WebShop 达到 84.7%。

大语言模型智能体可以通过保留从以往交互中提炼出的可复用技能来不断提升任务表现。近期的研究将任务执行与技能抽取联合优化，使策略与技能库得以共同演化。然而，随着 actor 持续学习，通过技能在后续训练步骤中的复用来奖励技能提案，可能会将技能本身的收益与 actor 的提升混为一谈；而直接测试每个所提议的技能则需要昂贵的额外 actor rollout。本文提出 UniSkill，它使用一个共享策略与环境交互，并根据所产生的轨迹提出技能库编辑操作（Add、Update 或 No Edit）。具体而言，actor 从环境奖励中学习，而对比动作反馈则引导技能提案的学习。该反馈通过衡量将检索到的技能替换为所提议的技能后，当前 actor 在同一任务下先前收集的成功轨迹与失败轨迹之间的动作对数似然差距的变化，提供了一个 actor-alignment 信号，从而避免为每个提案进行新的 rollout。由于提案级反馈可能会在所提议的技能内容评分较低时抑制本应合适的编辑操作，我们进一步引入技能编辑支持正则化以保留探索性。实验结果表明，UniSkill 表现出色，在 ALFWorld 上达到 98.4% 的成功率，在 WebShop 上达到 84.7%，同时保持了稳定的联合训练。ALFWorld 的进一步实验显示，当共享策略使用更小的骨干网络时，UniSkill 依然有效。我们的实现已开源：https://github.com/LimOkii/UniSKill。
查看原文
查看缓存全文

缓存时间: 2026/10/08 12:11

论文页面 - UniSkill：面向持续演进策略的 Actor 对齐技能提案学习

来源：https://huggingface.co/papers/2610.10164

摘要

大型语言模型智能体可以通过保留从先前交互中蒸馏出的可复用技能，跨任务实现能力提升。近期的工作联合优化任务执行与技能提取，使策略与技能库得以协同演进。然而，随着 actor 持续学习，通过在后续训练步骤中复用来奖励技能提案，可能会将技能本身的收益与 actor 的提升混为一谈；而直接测试每个所提出的技能，则需要昂贵的额外 actor rollout。在本文中，我们提出 UniSkill，它使用一个共享策略与环境交互，并从生成的轨迹中提出技能库的编辑操作（Add、Update 或 NoEdit）。具体而言，actor 从环境奖励中学习，而对比式动作反馈则引导技能提案的学习。这种反馈通过衡量将检索到的技能替换为所提案的技能后，如何改变当前 actor 在同一任务下先前采集的成功轨迹与失败轨迹之间的动作对数似然差距，从而提供一个与 actor 对齐的信号，因此避免了为每个提案进行新的 rollout。由于提案层面的反馈可能在所提案的技能内容评分较差时，抑制一个本应合理的编辑操作，我们进一步引入技能编辑支持正则化以保留探索能力。实验结果表明，UniSkill 取得了出色的性能，在 ALFWorld 上达到 98.4% 的成功率，在 WebShop 上达到 84.7%，同时保持了联合训练的稳定性。进一步的 ALFWorld 实验显示，当共享策略使用更小的 backbone 时，UniSkill 依然有效。我们的实现在 https://github.com/LimOkii/UniSKill。

查看 arXiv 页面（https://arxiv.org/abs/2610.10164）　查看 PDF（https://arxiv.org/pdf/2610.10164）　GitHub1（https://github.com/LimOkii/UniSKill）　添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2610.10164）

在你的智能体中获取本文：

hf papers read 2610\.10164

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

没有模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.10164，即可从本页面链接到它。

引用本文的数据集0

没有数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.10164，即可从本页面链接到它。

引用本文的 Spaces0

没有 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.10164，即可从本页面链接到它。

包含本文的合集0

没有合集包含本文

将本文添加到合集（https://huggingface.co/new-collection），即可从本页面链接到它。

相似文章