EvoWeb:面向不断演化的Web应用的编码智能体基准测试
摘要
EvoWeb引入了一个包含32个Web应用、320个累积请求的基准测试,用于评估编码智能体在不断演化的Web应用上进行迭代式、长周期开发的能力,揭示了跨请求集成是前沿模型面临的关键挑战。
查看缓存全文
缓存时间: 2026/10/19 19:30
论文页面 - EvoWeb:面向演化式 Web 应用的编码智能体基准
来源: https://huggingface.co/papers/2610.16402 发布于 10 月 12 日
·
提交者 https://huggingface.co/BarA94
B Alon (https://huggingface.co/BarA94) 于 10 月 19 日
摘要
Web 应用开发往往通过一系列连续的请求推进,在既有实现之上不断扩展功能。然而,现有的 Web 生成基准主要评估面向固定规范的开发过程。我们提出 EvoWeb——一个新颖的基准,包含 32 个 Web 应用上的 320 个累积请求,这些请求源自真实产品特性,并由功能依赖图进行结构化组织。智能体在一个持久化的代码库上迭代式地修改代码,同时一个多模态 Web 智能体在真实浏览器中对每个中间版本的应用进行测试,评估新请求的功能、跨请求的集成效果,以及此前已请求的功能。为了刻画整个开发过程中的可靠性,我们整合用户容忍度阈值范围内的轨迹性能,而非设定固定的停止准则。在开源与闭源前沿模型上的实验表明,EvoWeb 能够清晰地区分不同模型的性能,其中跨请求集成成为一项关键挑战。进一步分析显示,依赖更深或依赖数量更多的后续请求准确率更低,而在连续请求过程中运行时错误也愈发频繁。EvoWeb 为在长时程、多请求开发场景中评估和改进编码智能体提供了一个测试平台。
查看 arXiv 页面 (https://arxiv.org/abs/2610.16402) 查看 PDF (https://arxiv.org/pdf/2610.16402) 项目页面 (https://two-delta.github.io/evoweb-blog/) GitHub5 (https://github.com/two-delta/EvoWeb) 加入合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.16402)
引用此论文的模型 0
没有模型关联此论文
在模型的 README.md 中引用 arxiv.org/abs/2610.16402,即可从此页面链接到该模型。
引用此论文的数据集 0
没有数据集关联此论文
在数据集的 README.md 中引用 arxiv.org/abs/2610.16402,即可从此页面链接到该数据集。
引用此论文的 Spaces 0
没有 Space 关联此论文
在 Space 的 README.md 中引用 arxiv.org/abs/2610.16402,即可从此页面链接到该 Space。
收录此论文的合集 0
没有合集收录此论文
将此论文添加到合集 (https://huggingface.co/new-collection) 即可从此页面链接到该合集。
相似文章
EvoBrowseComp:面向演进知识的搜索智能体基准测试
EvoBrowseComp是一个演进式基准测试集,包含800个无污染的问题,用于评估搜索智能体,旨在通过三智能体框架防止参数记忆并保持时间新鲜度。
EvoCode-Bench:在多轮迭代交互中评估编码代理
介绍了EvoCode-Bench,这是一个包含26个有状态编码任务、共227轮评估的基准,用于评估多轮迭代交互中的编码代理,结果表明单轮性能高估了多轮能力22-40分。
SWE-WebDevBench:评估编码智能体应用平台作为虚拟软件代理商的能力
本文介绍了 SWE-WebDevBench,这是一个包含 68 项指标的综合框架,用于评估 AI 驱动的应用开发平台作为虚拟软件代理商的表现。研究强调了当前平台在规范理解、后端可靠性、生产就绪性和安全性方面存在的关键差距。
EvoBrowseComp:面向演进知识的搜索代理基准测试
本文介绍了EvoBrowseComp,这是一个动态基准测试,包含400个英文和400个中文复杂问题,通过实时网络遍历合成,用于评估搜索代理,避免测试集污染,确保对参数记忆的鲁棒性。
WebAnything:从开放网络到可扩展的智能体环境
WebAnything 提出了一个全自动框架,可根据真实 URL 重建以源网站为依据、可复用的网页智能体环境,构建了 244 个网站实例,支持 12,984 项任务,并表明使用其交互轨迹对 Qwen3.5-9B 进行微调能够提高网页智能体在多个基准测试中的任务成功率。