利用可验证信息奖励训练大语言模型进行多智能体协作

Hugging Face Daily Papers 论文
multi-agent-systems reinforcement-learning llm-training self-play reward-design collaboration

摘要

这篇名为CoSIR的预印本提出通过可验证信息奖励（基于贝叶斯惊异度降低）对LLM进行自博弈强化学习后训练，使模型显式学习多智能体协作能力，并在7个未见过的协作基准上取得最优表现，同时基本保持原有单任务性能。

多智能体系统中的大语言模型（LLM）智能体要实现有效协作，需要共享相关证据、请求缺失信息，并将队友的贡献纳入决策。训练这些行为具有挑战性，因为最终任务结果对单条消息价值的反馈有限。我们提出 CoSIR（基于惊异度信息奖励的协作），这是一种后训练方法，利用简单且可验证的环境教授协作行为，使其能够泛化到更复杂、未见过的任务。我们提出一种贝叶斯评估器，根据共享信息对团队惊异度的降低程度进行评分。团队惊异度定义为：给定各智能体可用的证据，各智能体赋予正确选项的概率的负对数之和。对信息请求的评分，则依据所请求的信息若被如实提供，该指标可能降低的程度。另设奖励，鼓励智能体在各自的私有选择和计算中使用收到的信息。我们通过自博弈对 Qwen3-4B、Qwen3-8B 和 Gemma-3-4B-it 进行后训练，并评估其在七项未见过的自然语言协作任务上的迁移表现。CoSIR 取得了最高的综合得分，同时在通用任务上的表现仍具有竞争力。行为分析表明，智能体披露私有证据的行为有所增加，被判定为未能利用队友输入的情况有所减少。
查看原文
查看缓存全文

缓存时间: 2026/10/15 02:56

论文页面 - 利用可验证信息奖励训练大语言模型进行多智能体协作

来源：https://huggingface.co/papers/2610.17893 🚀 我们能否训练大语言模型进行协作，而不只是设计更好的多智能体工作流？

在这里分享我们的新预印本：《利用可验证信息奖励训练大语言模型进行多智能体协作》(CoSIR)\。

大多数大语言模型后训练都聚焦于聊天机器人和单个智能体：指令遵循、推理和任务完成。然而，在多智能体系统 (MAS) 中，通过提示或工作流将多个大语言模型连接起来，并不能保证有效的团队协作。

智能体需要学会何时分享有用的证据、何时向队友询问缺失的信息，以及如何将队友的贡献融入决策。

因此，我们提出一个问题：协作本身能否成为大语言模型后训练的明确目标？

💡 难点在于奖励设计。在自然语言任务中，最终是否成功很难告诉我们哪些消息起到了帮助作用。一条陈述的价值取决于队友已经知道什么，以及它是否有助于队友找出正确答案。

我们提出的 CoSIR 包含三个组成部分：

🔹 可扩展、可验证的环境。智能体分别看到评分表的不同部分，必须交换信息才能选出最佳选项。我们可以生成大量任务，同时追踪每个智能体掌握的信息和正确答案。

🔹 可验证的信息奖励。贝叶斯评估器根据共享证据使团队惊异度降低的程度对其评分。信息请求则根据如实回答的潜在价值评分，同时对正确使用所接收信息的行为给予额外奖励。

🔹 自博弈强化学习。这些细粒度奖励直接用于底层大语言模型的后训练，而不只是修改推理时的工作流。

📊 关键检验在于能否迁移到更复杂的任务，而不只是看其在玩具任务上的表现。

我们对 Qwen3-4B、Qwen3-8B 和 Gemma-3-4B-it 进行后训练，随后在 7 个未见过的自然语言协作基准上评估它们，涵盖分布式证据、数学推理和协作决策。在全部 3 个骨干模型上，CoSIR 的七项任务得分总和均为所有对比方法中最高 (Qwen3-8B：相较基础模型提高 31.85 分)\。

我们还考察了行为变化。对于 HiddenBench 上的 Qwen3-8B，私有事实的披露率从 68.5% 升至 74.3%。在汇总三个模型的、基于 MAST 的分析中，未能利用队友输入的比例从 26.3% 降至 22.8%，未能寻求澄清的比例从 36.4% 降至 32.0%。模型在 GSM8K、MMLU 和 IFEval 上的表现基本保持不变。

🎯 我们的结论是：协作是一种应当被明确训练的能力。更好的工作流很重要，教会底层大语言模型如何与其他智能体合作同样重要。

📄https://arxiv.org/abs/2610.17893

相似文章

面向基于大语言模型的多智能体系统的能力感知编排

arXiv cs.AI

该论文提出了一种两阶段的能力感知框架，用于大语言模型多智能体系统的自动编排，根据模型在当前查询上的能力动态调整角色激活与通信图，在六个基准上平均达到 93.81%，同时在高能力骨干模型上降低 36.26% 的词元成本。

您好！您只提供了文章标题： **Beyond Perfect Teammates: Multi-Agent Collaboration with Unreliable Colleagues** 但没有提供需要翻译的正文内容。请将完整的 markdown 文章粘贴过来，我会为您翻译成简体中文。

Hugging Face Daily Papers

您提供的内容已经是简体中文摘要，并非需要翻译的英文原文。请提供需要翻译的英文 Markdown 文章原文，我将按照要求将其翻译为自然流畅的简体中文，保留标题、列表、强调、行内代码和链接等格式，并将专有名词（如 UnCoBench、LLM 等）保持英文不变。

从任务结果训练 LLM 智能体的指导者

arXiv cs.CL

Nebius AI 提出 Caddie 方法，通过强化学习从任务成败结果训练 LLM agent 的自然语言批评器（critic），无需逐步标注。Qwen3-4B critic 在 MuSiQue 上将成功率提升逾 25 个百分点，并可跨基座模型与任务域泛化。