论文页面 - 安全，还是单纯无能？重新思考手机使用智能体的安全评估

来源：https://huggingface.co/papers/2605.07630 作者：

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

摘要

PhoneSafety 基准测试揭示：避免有害结果并不一定意味着安全，因为模型可能无法行动或做出不安全的选择，需要区分能力信号与安全信号。

当手机使用智能体避免伤害时，这究竟体现了安全，还是仅仅因为无能？现有评估往往无法区分。避免有害结果可能是因为智能体识别了风险并选择了安全动作，也可能是因为它未能理解屏幕或根本无法执行任何相关动作。这些情况的原因不同，需要不同的修复方案，但当前基准测试通常将它们混为一谈，归入任务成功、拒绝或最终有害结果。我们通过 PhoneSafety 来解决这个问题，这是一个包含 700 个安全关键时刻的基准测试，这些时刻来自超过 130 个应用的现实手机交互。每个实例隔离了风险时刻的下一步决策，提出一个简单问题：模型是采取安全动作、采取不安全动作，还是什么有用的事情都没做？我们在此框架下评估了八个具有代表性的手机使用智能体。结果揭示了两种主要模式。第一，更强的通用手机操作能力并不能可靠地预示在风险时刻做出更安全的选择。在普通应用任务上表现更好的模型，在下一步行动至关重要时并不总是行为更安全。第二，什么有用的事情都没做表现得像能力信号而非安全信号：它们集中在视觉和操作要求更高的场景中，并且在评估协议改变时保持稳定。跨模型来看，失败分为两种重复模式：在模型能够行动但选择错误的情境中出现不安全选择，以及在视觉和操作要求更高的屏幕上无法行动。总体而言，无害结果不足以作为安全的证据。评估手机使用智能体需要将不安全判断与无法行动区分开来。

查看 arXiv 页面 (https://arxiv.org/abs/2605.07630) 查看 PDF (https://arxiv.org/pdf/2605.07630) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.07630)

在你的智能体中获取此论文：

hf papers read 2605\.07630

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.07630 以从此页面链接。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.07630 以从此页面链接。

引用此论文的 Spaces 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2605.07630 以从此页面链接。

包含此论文的收藏 0

没有收藏包含此论文

将这篇论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接。