论文页面 - 超越静态排行榜：LLM智能体评估的预测效度

来源：https://huggingface.co/papers/2606.19704 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

智能体基准中的总分排行榜未能捕捉部署相关的维度，并表现出排名不稳定性，因此需要基于预测效度和分布外标准的新评估框架。

智能体基准（https://huggingface.co/papers?q=Agent%20benchmarks）发展迅速，但没有任何单一基准能涵盖部署所暴露的维度中的五个以上。本文汇集了迄今为止对一个基于MCP的工业智能体基准进行的最大规模协调式深度研究：十四项并行实现研究，涵盖新的资产类别（包括多模态视觉扩展）、替代编排方式、检索策略、推理模式、基础设施优化以及评估方法探测。将这些研究与七个先前的智能体基准（https://huggingface.co/papers?q=agent%20benchmarks）整合后，我们认为总分排行榜（https://huggingface.co/papers?q=aggregate-score%20leaderboards）系统性地低估了已部署智能体的评估。从总分衍生的排名无法迁移到分布外设置（https://huggingface.co/papers?q=out-of-distribution%20settings）；最近的公开到隐藏竞赛回顾为这种排名不稳定性（https://huggingface.co/papers?q=rank%20instability）提供了直接的经验证据。我们提议根据预测效度（https://huggingface.co/papers?q=predictive%20validity）对配置进行排序，即样本内排名与样本外排名之间的相关性，而不是样本内均值，并报告一套十二层测量仪器，该仪器揭示了HELM（https://huggingface.co/papers?q=HELM）及其智能体时代后继者（https://huggingface.co/papers?q=agent-era%20successors）所忽视的部署相关维度（https://huggingface.co/papers?q=deployment-relevant%20dimensions）。该立场通过三个具有明确阈值的可证伪分布外标准（https://huggingface.co/papers?q=falsifiable%20out-of-distribution%20criteria）进行操作化；现有证据部分支持该立场，但过于单薄无法确认。最后，我们提出一个预注册试点设计以及关于下一代智能体基准应报告内容的领域级愿景。

查看arXiv页面（https://arxiv.org/abs/2606.19704）查看PDF（https://arxiv.org/pdf/2606.19704）项目页面（https://github.com/IBM/AssetOpsBench）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.19704）

在您的智能体中获取此论文：

hf papers read 2606\.19704

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型的README.md中引用arxiv.org/abs/2606.19704以在此页面建立链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集的README.md中引用arxiv.org/abs/2606.19704以在此页面建立链接。

引用此论文的Spaces0

没有Space链接此论文

在Space的README.md中引用arxiv.org/abs/2606.19704以在此页面建立链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集（https://huggingface.co/new-collection）以在此页面建立链接。