论文页面 - EvoGenUI-Bench：评估大语言模型作为多轮生成式UI助手的能力

来源：https://huggingface.co/papers/2608.29387

摘要

大型语言模型可以生成交互式Web界面，但可靠的生成式UI要求能够随着用户请求的演进维护一个可执行的产物。我们推出了EvoGenUI-Bench，一个用于多轮界面维护的基准测试，包含150个五轮任务和750个对话轮次，涵盖三个场景：信息呈现、可执行交互和基于工具的外部状态维护。我们在浏览器中执行生成的产物，并使用截图、源代码和DOM证据、操作者轨迹以及运行时日志进行评估。除了单轮和整个对话轮次级别的成功率，我们还使用相邻轮次通过保留率（Adjacent Pass Retention）来衡量跨轮次的保持能力。在八种模型中，即使是最强的模型也仅达到74.9%的单轮通过率，而完成全部五轮对话的比例仅为37.3%；在基于工具的任务中，APR进一步降至52.4%。诊断分析表明，呈现类失败主要集中在信息架构上，交互类失败涉及衍生状态传播和功能绑定，而基于工具的失败还额外涉及外部状态的基础定位和需求分解。这些结果将生成式UI的评估从判断孤立的输出重新定义为测试界面行为、衍生状态、外部状态和助手声明在产物演进过程中是否保持同步。

查看arXiv页面 (https://arxiv.org/abs/2608.29387) 查看PDF (https://arxiv.org/pdf/2608.29387) GitHub0 (https://github.com/MAPS-research/EvoGenUI-Bench) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.29387)

通过代理获取此论文：

hf papers read 2608.29387

尚未安装最新CLI？ curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

无模型关联此论文

在模型的README.md中引用 arxiv.org/abs/2608.29387 以将其从本页面链接。

引用此论文的数据集0

无数据集关联此论文

在数据集的README.md中引用 arxiv.org/abs/2608.29387 以将其从本页面链接。

引用此论文的Spaces0

无Space关联此论文

在Space的README.md中引用 arxiv.org/abs/2608.29387 以将其从本页面链接。

包含此论文的集合0

无集合包含此论文

将此论文添加到一个集合 (https://huggingface.co/new-collection) 以将其从本页面链接。