论文页面 - PersonaCUABench：面向多样化用户角色的计算机使用智能体评测基准

来源：https://huggingface.co/papers/2610.22990 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

PersonaCUABench 揭示了计算机使用智能体经常无法满足真实用户的需求和约束条件，相比固定基准指令，其任务完成率和用户满意度均有所下降。

计算机使用智能体（https://huggingface.co/papers?q=Computer-use%20agents)（CUA）通常基于固定的任务规格进行评测，但用户可能省略某些需求、添加额外约束，或在执行关键操作前需要获得批准。完成基准指令并不意味着真正满足了发起请求的用户。我们提出了 PersonaCUABench（https://huggingface.co/papers?q=PersonaCUABench），该基准固定了 11 个领域中的 74 项任务，仅改变发起请求的用户身份。一个角色智能体（persona agent）（https://huggingface.co/papers?q=persona%20agent），扮演四组共 44 个用户角色之一，用该用户自己的措辞重写每条指令并回答 CUA 的提问，而 CUA 只能看到对话内容，无法获取用户画像或原始指令。在九种基座模型（共 3,330 次运行）上，平均任务完成率（https://huggingface.co/papers?q=task%20completion）相比原始请求下降了 36%。性能损失有两个来源：在失分单元格中，59.9% 的情况下智能体确实针对用户的请求进行了处理但仍然出错，另有 11.2% 是用户要求停止操作却被评测工具判定为失败。即使角色请求被完全完成，用户给出最高满意度评分的情况也仅占 62.7%，而原始请求这一比例为 84.1%。因此，CUA 不仅应在任务完成度上被评测，还应评估其是否满足用户表达的需求和约束。代码：https://github.com/MatrAIx-ai/PersonaCUABench（https://huggingface.co/papers?q=PersonaCUABench）。项目页面：https://matraix.ai/research/persona-cua.html

查看 arXiv 页面 (https://arxiv.org/abs/2610.22990) 查看 PDF (https://arxiv.org/pdf/2610.22990) 项目页面 (https://matraix.ai/research/persona-cua.html) GitHub (https://github.com/MatrAIx-ai/PersonaCUABench) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.22990)

在你的智能体中获取此论文：

hf papers read 2610.22990

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.22990 即可将此页面与之关联。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.22990 即可将此页面与之关联。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.22990 即可将此页面与之关联。

包含此论文的收藏集 0

暂无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可将此页面与之关联。