EvoWeb:面向不断演化的Web应用的编码智能体基准测试

Hugging Face Daily Papers 论文

摘要

EvoWeb引入了一个包含32个Web应用、320个累积请求的基准测试,用于评估编码智能体在不断演化的Web应用上进行迭代式、长周期开发的能力,揭示了跨请求集成是前沿模型面临的关键挑战。

Web应用的开发往往通过一系列连续的请求来扩展已有的实现。然而,现有的Web生成基准测试主要针对固定需求规格的开发进行评估。我们提出了EvoWeb,一个全新的基准测试,包含32个Web应用上的320个累积请求,其设计基于真实产品功能,并通过功能依赖图进行结构化组织。智能体需要迭代地修改一个持久化的代码库,同时一个多模态Web智能体会在实时浏览器中测试每个中间版本的应用,评估新请求的功能、跨请求的集成效果以及之前请求的功能。为了刻画开发全程的可靠性表现,我们采用用户容忍度阈值对轨迹性能进行积分,而非设定固定的停止条件。在开源和闭源前沿模型上的实验结果表明,EvoWeb能够清晰地区分不同模型之间的性能差异,其中跨请求集成被确认为关键挑战。进一步分析显示,依赖更深层或依赖更多的后期请求准确率更低,且运行时错误在连续请求中愈发频繁。EvoWeb为评估和改进编码智能体在长周期、多请求开发场景下的能力提供了一个测试平台。
查看原文
查看缓存全文

缓存时间: 2026/10/19 19:30

论文页面 - EvoWeb:面向演化式 Web 应用的编码智能体基准

来源: https://huggingface.co/papers/2610.16402 发布于 10 月 12 日

·

提交者 https://huggingface.co/BarA94

B Alon (https://huggingface.co/BarA94) 于 10 月 19 日

摘要

Web 应用开发往往通过一系列连续的请求推进,在既有实现之上不断扩展功能。然而,现有的 Web 生成基准主要评估面向固定规范的开发过程。我们提出 EvoWeb——一个新颖的基准,包含 32 个 Web 应用上的 320 个累积请求,这些请求源自真实产品特性,并由功能依赖图进行结构化组织。智能体在一个持久化的代码库上迭代式地修改代码,同时一个多模态 Web 智能体在真实浏览器中对每个中间版本的应用进行测试,评估新请求的功能、跨请求的集成效果,以及此前已请求的功能。为了刻画整个开发过程中的可靠性,我们整合用户容忍度阈值范围内的轨迹性能,而非设定固定的停止准则。在开源与闭源前沿模型上的实验表明,EvoWeb 能够清晰地区分不同模型的性能,其中跨请求集成成为一项关键挑战。进一步分析显示,依赖更深或依赖数量更多的后续请求准确率更低,而在连续请求过程中运行时错误也愈发频繁。EvoWeb 为在长时程、多请求开发场景中评估和改进编码智能体提供了一个测试平台。

查看 arXiv 页面 (https://arxiv.org/abs/2610.16402) 查看 PDF (https://arxiv.org/pdf/2610.16402) 项目页面 (https://two-delta.github.io/evoweb-blog/) GitHub5 (https://github.com/two-delta/EvoWeb) 加入合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.16402)

引用此论文的模型 0

没有模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.16402,即可从此页面链接到该模型。

引用此论文的数据集 0

没有数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.16402,即可从此页面链接到该数据集。

引用此论文的 Spaces 0

没有 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.16402,即可从此页面链接到该 Space。

收录此论文的合集 0

没有合集收录此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 即可从此页面链接到该合集。

相似文章

EvoBrowseComp:面向演进知识的搜索代理基准测试

arXiv cs.CL

本文介绍了EvoBrowseComp,这是一个动态基准测试,包含400个英文和400个中文复杂问题,通过实时网络遍历合成,用于评估搜索代理,避免测试集污染,确保对参数记忆的鲁棒性。

WebAnything:从开放网络到可扩展的智能体环境

arXiv cs.AI

WebAnything 提出了一个全自动框架,可根据真实 URL 重建以源网站为依据、可复用的网页智能体环境,构建了 244 个网站实例,支持 12,984 项任务,并表明使用其交互轨迹对 Qwen3.5-9B 进行微调能够提高网页智能体在多个基准测试中的任务成功率。