新LLM协调基准 - 在语言智能体中评估开放式多智能体协调 [R]
摘要
介绍了一个用于评估LLMs中多智能体协调的新基准，发现大多数模型在处理长期开放式任务时表现不佳，但Gemini 3.1 Pro在最具挑战性的设置下表现与经过训练的MARL智能体相当。
LLM智能体能否在长期、开放式的世界中进行协调？我们在一个新基准中评估了13个现代LLM，其中智能体必须共同探索、沟通、交易资源、制作工具、建造结构和对抗怪物。简短总结：大多数智能体表现不佳，平均仅获得约6%的标准化回报。然而，在最具挑战性的设置下，零样本的Gemini 3.1 Pro表现与经过10亿环境步训练的最佳MARL智能体相当。更广泛地说，我们发现协调是超越长期任务能力的独特瓶颈，在我们的消融实验中，沟通的影响最大。论文：https://arxiv.org/abs/2606.08340 项目页面和排行榜：https://alem-world.github.io 代码：https://github.com/alem-world/alem-env 交互轨迹：https://alem-world.github.io/traces.html 欢迎提问！
相似文章
AgentWorld：多智能体LLM长期协作基准测试
AgentWorld引入了一个基准测试，用于评估多智能体LLM系统中的长期协作，包含100个任务和一个新的因果协作有效性指标。实验表明，即使顶级模型也仅实现52%的任务成功率，突出了诸如通信故障等失败模式。
独自通过，协作失败：并行LLM-Agent开发中的语义协调基准测试
本文引入'stale'基准，以研究并行LLM-Agent开发中的语义协调失败，表明在受控任务中干扰频繁，但在实际审查的拉取请求中罕见。
PolyWorkBench: 多语言长周期LLM智能体基准测试
介绍PolyWorkBench，一个用于评估LLM智能体在多语言长周期职场工作流中的表现的基准测试，涵盖五个领域，并展示了与单语言设置相比显著的性能下降。
CoffeeBench：异构多智能体经济中长期任务LLM智能体的基准测试
CoffeeBench 是一个用于在长期多智能体经济模拟中评估 LLM 智能体的基准测试，其中企业互动 90 天以最大化利润，揭示了不同模型在通信模式和性能上的差异。
多智能体LLMs未能相互探索
本文指出当前LLM智能体未能系统地探索同伴，导致协调不佳，并引入MACE，一个轻量级框架，使用上下文赌博机进行有效的同伴选择。