论文页面 - A^2E : 端到端智能体审计引擎

Source: https://huggingface.co/papers/2608.07346

摘要

A2E 是一个用于智能体框架的端到端评估引擎，它使用标准化的任务协议和执行轨迹来评估效率、工具使用、规划以及错误恢复等方面的能力。

随着大型语言模型 (https://huggingface.co/papers?q=large%20language%20models)(LLMs) 的快速发展，智能体框架已成为在广泛领域中部署智能体的关键基础设施。快速演进的智能体框架生态系统也使得严格的能力评估变得越来越重要。然而，如何高效地构建一个端到端、系统性且全面的评估流水线仍然是一个重大挑战。为了解决这一挑战，我们提出了 A^2E (Agent Auditing Engine)，一个专为智能体框架设计的端到端评估引擎。A^2E 利用我们新提出的智能体任务协议 (https://huggingface.co/papers?q=Agent%20Task%20Protocol)(ATP)，能够快速将评估任务与不同的智能体框架进行集成。通过自动插桩的监控器 (https://huggingface.co/papers?q=Monitor)，它可以捕获并生成实验过程中标准化的执行轨迹 (https://huggingface.co/papers?q=execution%20traces)。在评估阶段，A^2E 使用一组多维指标 (https://huggingface.co/papers?q=multidimensional%20metrics) 系统地评估智能体框架的能力。与仅看正确性相比，这些指标能更细粒度地刻画智能体框架在执行效率 (https://huggingface.co/papers?q=execution%20efficiency)、工具使用 (https://huggingface.co/papers?q=tool%20use)、任务规划 (https://huggingface.co/papers?q=task%20planning) 和错误恢复 (https://huggingface.co/papers?q=error%20recovery) 等方面的差异。使用 A^2E 进行的实验进一步表明，模型与智能体框架的组合在不同类型的任务上表现出显著的性能差异，并且没有任何一种组合能够在所有任务上持续优于其他组合。这些发现不仅证明了系统评估的必要性，也为模型与智能体框架的协同演进提供了有益的指导。我们的代码可在 https://github.com/datamllab/A2E 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2608.07346)查看 PDF (https://arxiv.org/pdf/2608.07346)GitHub20 (https://github.com/datamllab/A2E)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2608.07346)

在你的智能体中获取这篇论文：

hf papers read 2608\.07346

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

暂无关联此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2608.07346 即可从此页面链接到它。

引用此论文的数据集 0

暂无关联此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2608.07346 即可从此页面链接到它。

引用此论文的 Space 0

暂无关联此论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2608.07346 即可从此页面链接到它。

包含此论文的收藏集 0

暂无包含此论文的收藏集

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接到它。