论文页面 - SaaSBench：探索长周期企业SaaS工程中编程代理的边界

来源：https://huggingface.co/papers/2605.17526 作者：

，

，

，

，

，

，

，

，

，

，

，

摘要

SaaSBench 引入了一个综合性基准，用于评估企业 SaaS 开发中的 AI 代理，通过纳入多组件系统集成挑战，弥补了现有基准的局限。随着自主编程代理 (https://huggingface.co/papers?q=autonomous%20coding%20agents) 能够处理日益增长的长周期任务，它们逐渐展现出完成端到端软件开发 (https://huggingface.co/papers?q=software%20development) 的潜力。尽管现有基准近期已从局部代码编辑演变为从头项目生成，但它们仍局限于结构简化、单一栈的应用。因此，它们无法捕捉真实企业软件即服务（SaaS）系统的异构环境、全栈编排以及系统级复杂性 (https://huggingface.co/papers?q=system-level%20complexity)，在现实工程约束下评估代理时留下关键空白。为填补这一空白，我们引入 SaaSBench，这是首个旨在探索 AI 代理在企业 SaaS 工程中边界的基准。它涵盖 6 个 SaaS 领域的 30 个复杂任务，包含 5,370 个验证节点，并融合了 8 种编程语言、6 种数据库和 13 个框架，以精细再现真实世界的软件异构性。此外，我们针对长周期、多组件耦合的复杂系统设计了一种依赖感知的混合评估范式，支持细粒度、可复现的评估。关键的是，我们的大量实验揭示了一个显著洞察：最先进代理的主要瓶颈并非生成孤立的代码逻辑，而是成功配置和集成多组件系统 (https://huggingface.co/papers?q=multi-component%20system)。超过 95% 的任务失败发生在代理甚至尚未触及深层业务逻辑之前，模型常因过度自信而陷入陷阱，在基础系统设置阶段过早停止，或陷入无效的调试循环。我们希望 SaaSBench 能作为一个实用且富有挑战性的测试平台，推动可靠的系统级编程代理的发展。代码见 https://github.com/ShadeCloak/SaaSbench。

查看 arXiv 页面 (https://arxiv.org/abs/2605.17526)查看 PDF (https://arxiv.org/pdf/2605.17526)GitHub (https://github.com/ShadeCloak/SaaSbench)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.17526)

在您的代理中获取此论文：

hf papers read 2605\.17526

没有最新的 CLI？curl \-LsSf https://hf.co/cli/install\.sh \| bash

引用本论文的模型 0

无模型链接本论文

在模型 README.md 中引用 arxiv.org/abs/2605.17526 以从此页面链接。

引用本论文的数据集 0

无数据集链接本论文

在数据集 README.md 中引用 arxiv.org/abs/2605.17526 以从此页面链接。

引用本论文的 Spaces 0

无 Space 链接本论文

在 Space README.md 中引用 arxiv.org/abs/2605.17526 以从此页面链接。

包含本论文的收藏集 0

无收藏集包含本论文

添加此论文到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。