@rohanpaul_ai：Google 与香港大学的新论文指出，AI 智能体使用电脑时，其自身发出的“任务完成”消息绝不可作为证明……

X AI KOLs Following 论文
computer-use-agents verification evaluation agent-reliability reinforcement-learning

摘要

Google 与香港大学的一篇论文提出 VeriCUA，通过检查已保存的文件和应用状态来验证计算机使用智能体的任务，而非信任智能体自身的完成报告，将误报率从 VLM 评审器的 24.8% 降至 5.4%。

Google 与香港大学的一篇新论文指出，当 AI 智能体操作电脑时，其自身发出的“任务完成”消息绝不可作为证明，而应检查已保存的文件和应用数据。 计算机使用智能体可能在编辑从未保存、或仅完成部分工作的情况下报告任务已完成。常见的检查方法要么只判断几张截图，要么只运行 1 个生成的脚本，两者都可能遗漏关键证据。 VeriCUA 会探索应用程序以构建需求清单，然后执行屏幕或代码检查（如读取文件），直到每一项都被核实。智能体自身声称成功永远不被当作证明。 在 ScienceBoard 上，其误报率为 5.4%，而 VLM 评审器为 24.8%，生成脚本验证器为 21.7%。在 3 个在线环境中，它拒绝了约 80% 的虚假完成报告。 如果智能体的运行结果被用于你的评估、训练数据或 RL 奖励，请检查实际保存的机器状态，而不要信任截图或智能体的报告。
查看原文
查看缓存全文

缓存时间: 2026/11/03 04:18

Google 与香港大学论文：AI 智能体自报“任务完成“不应被采信，应检查保存的文件与应用数据

Google 与香港大学的一篇新论文指出，当 AI 智能体操作电脑时，其自身发出的“任务完成“消息绝不能作为完成证据，而应检查保存的文件和应用数据。

计算机操作智能体可能在编辑从未保存、或仅完成部分工作的情况下报告任务已完成。常见的校验方式要么只判断几张截图，要么仅运行 1 个生成的脚本，两者都可能遗漏关键证据。

VeriCUA 会先探索应用以构建需求清单，随后执行屏幕检查或代码检查（如读取文件），直到每一项都被逐一确认。智能体自称成功的声明永远不作为证据。

在 ScienceBoard 上，其误报率为 5.4%，而 VLM 评审器为 24.8%，生成脚本验证器为 21.7%。在 3 个在线环境中，它拒绝了约 80% 的虚假完成报告。

如果智能体的运行结果用于你的评估、训练数据或 RL 奖励，请检查保存的机器状态，而不要轻信截图或智能体自身的报告。

相似文章

@rohanpaul_ai: 来自剑桥大学、英伟达及其他顶尖实验室的新论文教会AI智能体和AI评判者共同改进，使任何一方都不会……

X AI KOLs Following

来自剑桥大学、英伟达及其他实验室的一篇新论文介绍了Red Queen Gödel机器，这是一种让AI智能体及其评估者共同进化以防止停滞的方法。该方法通过允许评判者在安全交接点改进来避免固定基准，从而在编程和论文写作任务中取得更好的性能。

@rohanpaul_ai: 普林斯顿大学+Google新论文发现，在孤立问题上最准确的决策模型只解决了69.5%的智能体任务，而在智能体状态上训练的4B模型解决了91.5%。

X AI KOLs Following

普林斯顿大学与Google的联合论文提出JevAgentHarness，将智能体工作流中的常规决策（如工具选择）交给经智能体实际状态训练的小型决策模型（如AgentDecision-4B），在保持成功率的同时使成本降低81%–89%、速度提升最高2.5倍。