论文页面 - Evo-Bench: 语言模型能否改进智能体工具框架？

来源：https://huggingface.co/papers/2608.09096

摘要

大型语言模型（LLMs）推动了自主智能体的快速发展，但标准评估仍局限于静态任务求解。一个新兴的前沿方向是工具框架进化（harness evolution）——即智能体自主优化其自身运行工具框架的能力。然而，系统性地基准测试这一能力仍具挑战性，因为现有评估无法将工具框架改进与基础模型能力分离、无法防止任务特定过拟合，也无法捕捉长时程迭代式研究。为应对这些挑战，我们引入了 Evo-Bench，这是首个旨在评估模型在搜索（Search）、办公（Office）和通用（General）智能体领域中内在工具框架进化能力的基准。为严格分离该能力，Evo-Bench 采用了一种新颖的、由工具框架引导的构建框架：它利用辅助任务进化来识别对框架改进真正敏感的任务，随后通过敏感性感知的分层划分来确保跨套件的稳健泛化。对九个前沿及开放权重模型的广泛评估显示，顶级模型取得了高达 16.6 分的绝对增益，接近最先进的人工工程基线。关键在于，尽管自主进化在通用任务中优于人工工具框架，并在搜索任务中表现出色，但在需要高度特定处理流程的办公任务中却表现挣扎。此外，我们的分析揭示了如早期饱和等关键时间异常，同时证明合成出的工具框架可作为高度可迁移的推理结构，持续提升多样化的策略模型。

查看 arXiv 页面 (https://arxiv.org/abs/2608.09096)查看 PDF (https://arxiv.org/pdf/2608.09096)项目页面 (https://evobench.org/)GitHub1 (https://github.com/RUCAIBox/Evo-Bench)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.09096)

在你的智能体中获取这篇论文：

hf papers read 2608\.09096

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2608.09096 以从此页面关联它。

引用此论文的数据集1

RUC-AIBOX/Evo-Bench 查看器• 大约 3 小时前更新 • 608 • 40 (https://huggingface.co/datasets/RUC-AIBOX/Evo-Bench)

引用此论文的 Spaces0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2608.09096 以从此页面关联它。

包含此论文的收藏集1