GBC:基于梯度的连接以优化多智能体系统

Hugging Face Daily Papers 论文

摘要

提出基于梯度的连接(GBC)方法,将多智能体LLM系统建模为计算图,并利用梯度信号将错误归因到特定智能体,从而更好地进行系统级优化。

基于大型语言模型(LLM)的多智能体系统(MAS)通过角色分工和结构化交互为处理复杂任务提供了有前景的框架。然而,其性能常受限于协同不足,更根本的是缺乏跨智能体的细粒度信用分配。现有方法通常依赖粗粒度的反馈,难以识别哪个智能体或交互步骤导致了错误。我们提出基于梯度的连接(GBC),一种用于多智能体系统细粒度归因和优化的方法。GBC将MAS建模为计算图,并引入基于梯度的连接权重,以token级别量化每个智能体输出对下游智能体的影响。通过构建归因图并将任务特定损失信号反向传播,我们的方法能够精确识别错误源并进行有针对性的提示优化。我们进一步开发了AgentChord,一种利用前缀梯度计算的高效实现。在MultiWOZ和τ-bench上的实验表明,GBC提升了多智能体性能,并优于强单智能体和多智能体基线,且更高的归因质量与更好的优化效果相关。代码可在 https://github.com/yxc-cyber/AgentChord 获取。
查看原文
查看缓存全文

缓存时间: 2026/06/29 10:02

论文页面 - GBC:基于梯度的连接方法用于优化多智能体系统

来源:https://huggingface.co/papers/2606.28187

很高兴分享我们的工作:GBC:基于梯度的连接方法用于优化多智能体系统。多智能体大语言模型系统在复杂任务中很有前景,但常常面临协作失调和信用分配薄弱的问题。当最终输出错误时,我们如何知道哪个智能体导致了失败?

我们提出了基于梯度的连接方法(GBC)。GBC 将多智能体系统建模为计算图,并利用基于梯度的信号来量化每个智能体输出在 token 级别上对下游智能体的影响。这使我们能够构建一个归因图,并将任务特定的损失信号反向传播以识别错误来源。我们在多智能体任务导向型对话和工具使用场景中评估了 GBC,展示了该机制的有效性,并表明更好的归因可以带来更有效的系统级优化。

欢迎提出任何想法、反馈或建议!

相似文章

多智能体LLM校准的反事实图

arXiv cs.CL

本文介绍了CAGE,一种基于反事实图的多智能体LLM系统校准方法,在TriviaQA和MMLU-Pro等基准测试上进行了评估,涵盖了多种通信拓扑结构。该方法优于现有的事后校准和LLM引导校准方法。

多目标优化中梯度聚合的统一框架

arXiv cs.LG

本文提出了一个多目标优化中梯度聚合的统一理论框架,建立了收敛到帕累托平稳性的速率。作者引入了一个充分对齐条件,并展示了其在现有算法和新算法(如 capped MGDA)中的应用。

通过预测梯度催化剂加速多目标贝叶斯优化

arXiv cs.LG

本文介绍了一种通用加速机制,用于多目标贝叶斯优化,该机制利用高斯过程预测梯度作为辅助信号来增强现有的采集函数,从而在有限的评估预算下更快地收敛到全局帕累托集。