应该改变哪个智能体的技能?面向多智能体团队演化的群体相对信用分配

Hugging Face Daily Papers 论文

摘要

论文提出 GRSE(群体相对技能演化),通过重复执行并对比同一技能库下的多次运行,将共享团队奖励正确归因到具体的 agent-技能对上,从而改进协作式语言智能体的技能演化,在 HotpotQA 与 LoCoMo 上超越 MASkills 并能从有害技能中恢复。

协作式语言模型智能体可以通过修订可复用的技能在不更新权重的情况下实现提升,但前提是共享的团队奖励能够被追溯到负有责任的智能体和技能上。现有方法将信用分配给每条轨迹中出现的技能,但出现并不等于责任:在成功运行中被激活的有害技能仍然会获得正向信用。我们提出 GRSE(群体相对技能演化),通过对比来分配行为信用:受 GRPO 启发,GRSE 在同一技能库下对每个问题多次执行并对比这些执行结果,从而对智能体-技能对进行信用分配,并对失败进行结构化诊断。在 HotpotQA 与 LoCoMo 上使用两个开源权重 actor 的实验中,GRSE 在 HotpotQA 以及 LoCoMo 的除开放域之外的所有类别上均优于最接近的现有方法 MASkills,其中在多跳问题上提升最大(+6.7 和 +3.2 F1)。其增益源于更好的基于证据的检索,而非无依据的回答,且其学到的技能可以在不同多跳任务之间迁移。GRSE 对受损技能库具有鲁棒性:从植入有害技能的技能库出发,GRSE 能以正确的符号为每个植入技能分配信用,并恢复到干净技能库的分数水平(+6.3 分),而 MASkills 则错误归因了两个技能并低于其起始水平。
查看原文
查看缓存全文

缓存时间: 2026/10/22 15:47

论文页面 - 应该改变哪个智能体的技能?面向多智能体团队演化的组相对信用分配

来源: https://huggingface.co/papers/2610.27227

摘要

GRSE 通过比较重复执行来正确地将行为信用分配给智能体-技能对,从而改进协作式语言智能体,在多跳推理和从有害技能中恢复方面超越了以往的方法。

协作式语言模型智能体无需更新权重,通过修改可复用技能即可实现改进,但前提是共享的团队奖励必须被追溯到对应的智能体和技能上。现有方法将信用归因于每条轨迹中出现的技能,但“出现“并不等于“责任“:一个在成功运行中仍然活跃的有害技能同样会获得正向信用。我们提出 GRSE(Group-Relative Skill Evolution,组相对技能演化),通过比较来分配行为信用:受 GRPO 启发,GRSE 在相同的技能库下对每个问题执行多次,并对比这些执行结果来为智能体-技能对分配信用,同时对失败进行结构化诊断。在 HotpotQA 和 LoCoMo 上,使用两个开放权重执行者,GRSE 在 HotpotQA 上以及除开放领域之外的所有 LoCoMo 类别上均优于最接近的先前方法 MASkills,在多跳问题上取得最大增益(+6.7 和 +3.2 F1)。其增益建立在检索结果更具依据性的基础上,而非缺乏证据的直接作答,且其学到的技能可以在多跳任务之间迁移。GRSE 对受损的技能库具有鲁棒性:从人为植入的有害技能出发,GRSE 能以正确的符号为每个植入技能分配信用,并将得分恢复到干净技能库的水平(+6.3 分),而 MASkills 误判了其中两个技能的符号,且得分低于起始水平。

查看 arXiv 页面 (https://arxiv.org/abs/2610.27227)查看 PDF (https://arxiv.org/pdf/2610.27227)GitHub 3 (https://github.com/yananma1029/GRSE-Skills)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.27227)

在你的智能体中获取此论文:

hf papers read 2610.27227

没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.27227 即可从此页面链接它。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.27227 即可从此页面链接它。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.27227 即可从此页面链接它。

包含此论文的收藏集 0

暂无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接它。

相似文章

SkillNEO:智能体技能的非精英进化优化

arXiv cs.AI

SkillNEO 提出非精英进化优化方法来改进大语言模型智能体的技能,通过允许低奖励版本继续迭代并分析版本间差异来保留有效步骤、修复失败,使 GPT-5.4 Mini 在 86 项 SkillsBench 任务上的平均奖励从 49.1% 提升至 66.4%,且改进后的技能还能提升更强模型的表现。

MASkills:多智能体LLM系统的持续技能优化

arXiv cs.AI

MASkills 提出了一个持续学习框架,通过智能体技能优化多智能体LLM系统,使用基于技能的信用分配和层次聚合来提升在 HotpotQA 和 GAIA 等任务上的性能。

SkillForge:通过动态技能生命周期实现技能与智能体的协同进化

Hugging Face Daily Papers

SkillForge 提出了一种智能体强化学习方法,通过适应度驱动的试用期、活跃期、稳定期、退役期生命周期,实现 LLM 智能体与其技能库的协同进化。在交互式智能体基准上,该方法相对最强基线最高提升 7.8%;作者同时发布了 SkillFurnace——一个包含 5000+ 条记录的数据集,用于研究技能质量与生命周期管理。