论文页面 - 元代理挑战：当前智能体能自主开发智能体系统吗？

来源：https://huggingface.co/papers/2606.04455 作者：

，

，

，

，

，

，

，

，

，

摘要

元代理挑战（Meta-Agent Challenge）旨在评估AI模型在受限环境中通过迭代编程自主开发智能体系统的能力，揭示了当前模型在自我改进能力上的显著差距。

当前的AI基准测试评估的是智能体在人类设计的工作流程中执行任务的能力。这些评估从根本上无法衡量一个关键的进阶能力：模型能否自主开发智能体系统。我们引入了元代理挑战（MAC，Meta-Agent Challenge），这是一个评估框架，旨在测试前沿模型进行自主智能体开发的能力。具体来说，一个代码智能体（即元代理）被赋予一个沙盒环境、一个评估API和一个时间限制，使其能够迭代编程生成一个智能体工件，并在五个领域中针对保留测试集最大化性能。为确保评估完整性，该框架通过多层防御来防范奖励篡改。借助该框架，我们证明：元代理很少能匹敌人工设计的基线策略；少数能匹敌的也主要来自专有前沿模型。此外，设计过程表现出高方差，而高优化压力会催生新的对抗行为（如真实标签泄露）——这突显了模型在鲁棒性和对齐方面的严重缺陷。最终，MAC为自主AI研究与开发提供了一个严谨的开源基准测试，并可作为评估递归自我改进的经验性代理指标。基准测试已公开可用：https://github.com/ant-research/meta-agent-challenge。

查看arXiv页面 (https://arxiv.org/abs/2606.04455) 查看PDF (https://arxiv.org/pdf/2606.04455) 项目页面 (https://meta-agent-challenge.com/) GitHub0 (https://github.com/ant-research/meta-agent-challenge) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.04455)

在你的智能体中获取此论文：

hf papers read 2606.04455

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

请在模型README.md中引用arxiv.org/abs/2606.04455以从该页面链接。

引用此论文的数据集0

没有数据集链接此论文

请在数据集README.md中引用arxiv.org/abs/2606.04455以从该页面链接。

引用此论文的Spaces0

没有Space链接此论文

请在Space的README.md中引用arxiv.org/abs/2606.04455以从该页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

请将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 中以从该页面链接。