论文页面 - AgentWorld：多智能体LLM的长期协作基准测试

来源：https://huggingface.co/papers/2609.31590

摘要

现有大多数多智能体基准测试主要在竞争性场景下进行，仅测试20步以内的短期交互，或简单地将个体表现相加，未能有效识别并凸显基于LLM的智能体之间真正的协作能力。我们推出AgentWorld，一个包含100个人工标注任务（及其100个增强变体）的基准，旨在评估长期的多智能体协作。这些任务需要在一个丰富的MMORPG沙盒中进行超过50轮的交互，要求3至20个具有非对称角色和能力的智能体，在黑箱设置下通过通信、联合规划和资源共享进行协调，每个智能体独立行动，无法访问其他智能体的内部状态。除了传统的二元任务成功标准外，为了量化协作效果，我们提出了因果协作效果（CCE）这一基于图的度量指标。该指标追踪智能体行动之间的因果依赖关系，并衡量团队中有多少比例的努力真正对最终结果做出了贡献。对Gemini3Flash、Claude Haiku4.5、GPT-5Mini和DeepSeekR1-70B的实验表明，即使是表现最好的模型，任务成功率也仅达到52.0%，并且存在系统性的失败模式，包括通信中断、角色混乱以及无法在多个轮次中维持共同计划。AgentWorld完全开源。

查看arXiv页面 (https://arxiv.org/abs/2609.31590) 查看PDF (https://arxiv.org/pdf/2609.31590) 项目页面 (https://agentworld.io/) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.31590)

在您的智能体中获取此论文：

hf papers read 2609\.31590

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接到此论文

在模型README.md中引用arxiv.org/abs/2609.31590，即可从本页面链接到它。

引用此论文的数据集0

没有数据集链接到此论文

在数据集README.md中引用arxiv.org/abs/2609.31590，即可从本页面链接到它。

引用此论文的Spaces0

没有Space链接到此论文

在Space README.md中引用arxiv.org/abs/2609.31590，即可从本页面链接到它。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从本页面链接到它。