新LLM协调基准 - 在语言智能体中评估开放式多智能体协调 [R]

Reddit r/MachineLearning 论文
multi-agent coordination benchmark llm language-agents open-ended evaluation

摘要

介绍了一个用于评估LLMs中多智能体协调的新基准，发现大多数模型在处理长期开放式任务时表现不佳，但Gemini 3.1 Pro在最具挑战性的设置下表现与经过训练的MARL智能体相当。

LLM智能体能否在长期、开放式的世界中进行协调？我们在一个新基准中评估了13个现代LLM，其中智能体必须共同探索、沟通、交易资源、制作工具、建造结构和对抗怪物。简短总结：大多数智能体表现不佳，平均仅获得约6%的标准化回报。然而，在最具挑战性的设置下，零样本的Gemini 3.1 Pro表现与经过10亿环境步训练的最佳MARL智能体相当。更广泛地说，我们发现协调是超越长期任务能力的独特瓶颈，在我们的消融实验中，沟通的影响最大。论文：https://arxiv.org/abs/2606.08340 项目页面和排行榜：https://alem-world.github.io 代码：https://github.com/alem-world/alem-env 交互轨迹：https://alem-world.github.io/traces.html 欢迎提问！
查看原文

相似文章

多智能体LLMs未能相互探索

Hugging Face Daily Papers

本文指出当前LLM智能体未能系统地探索同伴，导致协调不佳，并引入MACE，一个轻量级框架，使用上下文赌博机进行有效的同伴选择。

COOPA：一种面向运筹学问题的模块化LLM智能体架构

arXiv cs.LG

本文介绍了COOPA，一种面向运筹学问题的模块化LLM智能体架构，它结合了基于迭代置信度的建模、元素级溯源和多求解器路由。在八个LLM主干网络和四个基线的评估中，COOPA在六个主干网络上取得了最佳的宏平均准确率，并在最强基线的基础上提升了最多6.7个百分点。