论文页面 - StartupBench：基于市场验证的端到端工作流对通用智能体的基准测试

来源：https://huggingface.co/papers/2608.17800 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

StartupBench 在真实的初创企业工作流上评估端到端 AI 智能体，揭示即使顶尖模型也只能完成约 30% 的任务，凸显了在指令遵循和领域专业知识方面的差距。

大型语言模型（https://huggingface.co/papers?q=Large%20Language%20Models）（LLM）和智能体（https://huggingface.co/papers?q=agents）的最新进展已大幅提升了 AI 系统执行复杂任务的能力。然而，现有基准主要依赖研究人员选定的任务，无法确定这种进步是否能扩展到现实世界用户实际要求 AI 系统完成的工作。我们推出了 StartupBench（https://huggingface.co/papers?q=StartupBench），这是一个基于市场验证的 AI 初创产品的端到端智能体基准（https://huggingface.co/papers?q=E2E%20agent%20benchmark）。我们并非根据预定义的有用智能体能力假设来定义任务，而是系统性研究已获得实际采用的 AI 产品，连同其产品工作流和用户，以识别 AI 在跨专业领域已建立实际需求的真实世界任务。我们将这些工作流转化为完整的、以交付物为导向的任务，并使用捕捉其复杂需求的细粒度评分标准进行评估。在统一的智能体测试框架（https://huggingface.co/papers?q=agent%20harness）下评估的代表性模型中，即使是最强模型也只能成功完成约 30% 的 StartupBench（https://huggingface.co/papers?q=StartupBench），尽管在许多任务上取得了实质性的部分进展。进一步分析发现，复杂指令遵循（https://huggingface.co/papers?q=complex%20instruction%20following）和领域特定专业知识（https://huggingface.co/papers?q=domain-specific%20expertise）等方面是失败的主要原因。我们的结果表明，许多市场验证的工作流仍然超出了当前通用智能体（https://huggingface.co/papers?q=agents）的可靠能力范围，确立了 StartupBench（https://huggingface.co/papers?q=StartupBench）作为衡量端到端完成真实世界用户任务进展的经验性标准。

查看 arXiv 页面 (https://arxiv.org/abs/2608.17800)查看 PDF (https://arxiv.org/pdf/2608.17800)项目主页 (https://startupbench.github.io/)添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.17800)

在你的智能体中获取这篇论文：

hf papers read 2608\.17800

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2608.17800 以从此页面链接它。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.17800 以从此页面链接它。

引用此论文的 Spaces 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2608.17800 以从此页面链接它。

包含此论文的收藏集 0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接它。