@MSFTResearch:计算机操作AI代理在处理电子邮件和客户支持等多步骤工作流时表现不佳。Echoverse 在真实环…

X AI KOLs Timeline 论文

摘要

微软研究院推出了 Echoverse,这是一组用于训练计算机操作代理的深度、不断进化的环境。一个9B模型在这些环境上训练后,其基线分数几乎翻倍,与GPT-5.4仅差14分。这表明高保真模拟以及模型、世界和验证器的共同进化显著提高了代理在多步骤工作流上的表现。

计算机操作AI代理在处理电子邮件和客户支持等多步骤工作流时表现不佳。Echoverse 在现实环境中训练代理,而不是简单地提供更多的训练任务,帮助代理随着任务、测试和环境的演变而改进。https://msft.it/6012a6oLE
查看原文
查看缓存全文

缓存时间: 2026/07/30 19:57

使用计算机的AI代理在处理多步骤工作流(如电子邮件和客户支持)时常常遇到困难。Echoverse通过在逼真的环境中训练代理,而非简单地提供更多训练任务,帮助它们在任务、测试和环境不断演进的过程中提升能力。https://msft.it/6012a6oLE


为计算机操作代理打造的深度演进环境

来源:https://www.microsoft.com/en-us/research/blog/echoverse-deep-evolving-environments-for-computer-use-agents/

扩展保真度而非单纯数量,精准针对代理实际缺失的能力,并随其训练的模型共同演进。

迭代训练循环图示:模型生成一个世界,世界产出有评分的运行,反馈同时更新世界和模型。## 概览

我们为计算机操作代理构建了十二个训练世界:十个深度领域世界和两个能力世界。每个能力世界专注于一种以多种形式呈现的单一控件(如日期选择器和嵌套过滤器)。深度是它们值得用于训练的原因:这些世界再现了应用程序的真实行为、内置了逼真的数据,并跨屏幕和用户保持了状态的一致性。在这十二个世界上训练后,一个9B模型的基础得分几乎翻倍(从36.5%提升至67.1%),与GPT-5.4的差距缩小到14个百分点以内。实验让我们学到了以下几点:

  • **高模拟保真度是必需的;浅层世界会对代理造成损害。**同时使用同一站点的浅层和深层版本进行训练后,模型在浅层版本上表现退步,但在深层版本上有所提升。
  • **代理在面对某些具有挑战性的UI元素(如日期选择器和嵌套过滤器)时常常表现挣扎。**以多种形式对这些控件进行针对性训练,教会了模型在从未见过的领域中操作它们。
  • **模型、世界和验证器的共同演进能使三者都得到提升。**随着世界变得更加正确、任务变得更加困难,模型也会随之提升。
  • **在世界上进行强化学习能使代理超越模仿阶段。**使用基于真实状态的验证器作为奖励,强化学习提升了模型在未见任务上的表现,并教会代理以更少的步骤达成目标。
  • 我们正在开源其中四个世界,包括其代码、数据和基于真实状态的评分器,以支持高保真计算机操作世界的研究。 Github:microsoft/Echoverse: Deep, Evolving Environments for Computer-Use Agents(opens in new tab) (https://nam06.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.com%2Fmicrosoft%2FEchoverse&data=05%7C02%7Cv-amablack%40microsoft.com%7C8672491a049240e2d0cb08deecf33ea2%7C72f988bf86f141af91ab2d7cd011db47%7C1%7C0%7C639208726637682797%7CUnknown%7CTWFpbGZsb3d8eyJFbXB0eU1hcGkiOnRydWUsIlYiOiIwLjAuMDAwMCIsIlAiOiJXaW4zMiIsIkFOIjoiTWFpbCIsIldUIjoyfQ%3D%3D%7C0%7C%7C%7C&sdata=4%2F8FD0oWevHazXLVAGUwE0XnoLqVfLDC2g5TPUB94V0%3D&reserved=0) Hugging Face:microsoft/Echoverse · Datasets at Hugging Face(opens in new tab) (https://nam06.safelinks.protection.outlook.com/?url=https%3A%2F%2Fhuggingface.co%2Fdatasets%2Fmicrosoft%2FEchoverse&data=05%7C02%7Cv-amablack%40microsoft.com%7C8672491a049240e2d0cb08deecf33ea2%7C72f988bf86f141af91ab2d7cd011db47%7C1%7C0%7C639208726637691838%7CUnknown%7CTWFpbGZsb3d8eyJFbXB0U1hcGkiOnRydWUsIlYiOiIwLjAuMDAwMCIsIlAiOiJXaW4zMiIsIkFOIjoiTWFpbCIsIldUIjoyfQ%3D%3D%7C0%7C%7C%7C&sdata=TkzGRz7uZIS97yPjvNP7a9Kp1BhmOR2WZOOxnv1GOgA%3D&reserved=0) 技术报告:https://www.microsoft.com/en-us/research/publication/echoverse-deep-evolving-environments-for-training-computer-use-agents-at-scale/

一个计算机操作代理,只有在操作产生真实后果的地方,才能学习其行为的结果。一次点击会改变保存的状态,一条消息会到达真实的人,或者一个拒绝响应的页面会告诉代理它上一步操作无效。截图可以展示界面外观,但只有可运行的世界才能展示操作引发了什么后果。

值得学习的后果通常是有状态的,并且大多数隐藏在登录之后。人们希望自动化完成的工作存在于封闭系统中:电子邮件和聊天、银行、健康记录、云和ML的内部控制台。你不能在实时版本的这些系统上训练代理。每一次尝试都会写入真实账户,尝试之间无法重置,真实状态隐藏在屏幕之后。因此,你需要将系统重建为一个合成世界,其中数据库是你的:状态是真实的且会真实改变,但它是安全的(可被破坏)、可以快速重置,并且从数据而非截图中进行评分。

聚焦:系列活动

研究论坛 | 带有彩色六边形的抽象背景 (https://www.microsoft.com/en-us/research/event/microsoft-research-forum/past-episodes/?OCID=msr_researchforum_MCR_Blog_Promo)

微软研究论坛

加入我们,在通用人工智能时代进行一次持续的交流思想。按需观看最新剧集。

我们所说的“世界”是指三个相互绑定的部分:环境(应用程序、其状态以及改变状态的操作)、在其中设定目标的任务,以及根据真实状态对结果进行评分的验证器。社区现在很擅长构建它们:管道可以构建应用程序、填充数据、生成任务并附加验证器,从而产生数百个环境和数千个可检查的任务。这项工作建立在此进展之上。然而,当世界变得丰富时,其内部结构就成为瓶颈,无论状态是否跨用户和屏幕保持一致,工作流是否保持其依赖关系,一个薄弱技能是否以足够多的形式出现以进行泛化,以及成功是根据结果还是外观来判断。

我们的假设,即Echoverse所测试的,是真正的杠杆作用更多地来自于一个不断改进你已有世界的循环,而不是不断增加世界的数量。它将构建环境和训练模型视为一个过程,而非两个阶段:在一个世界中运行模型,找出其失败点,在那里使世界、其任务及其验证器更加忠实或更具挑战性,在更清晰的信号上进行训练,然后重复。普通的微调只改进模型。在这里,衡量模型的同一评分运行也改进了评判它的世界,因此静态基准会饱和,而循环则会产生复合效应。

三个杠杆保持该循环高效,而非单纯的环境数量。深度:为重要的领域构建行为上忠实的世界,包括封闭的和专有的领域。能力目标定位:围绕模型反复失败的特定交互构建狭窄的世界。共同演进:在每次评分运行中不仅改进模型,还改进环境、其任务及其验证器。

学习循环的圆形图。一个模型在世界中运行一个任务,每一次运行都根据数据库真实状态进行评分。从评分运行分出两个分支:未被修复的失败流向模型训练数据,而缺陷则流向环境、其任务及其验证器的修复,因此模型和世界在同一运行中得到改进。图1:学习循环:每次评分运行都被读取两次。未被修复的失败成为模型训练数据,而世界、其任务或其验证器的缺陷则被修复。衡量模型的同一评分运行也使得世界更加锐利。## 为什么是合成世界,以及为什么要求深度?

开放的、无需登录的网站似乎消除了对合成世界的需求,但它们由于另一个原因而成为糟糕的训练场:它们无法保持静止。页面会被重新设计,列表和日期会向前滚动,主机服务商会限制或封锁自动化流量,因此依赖它们的基准会漂移,且没有两次运行面对的是同一个网站。偶尔的评估可以吸收这种变化;但训练不行,因为训练需要重复执行相同任务数千次,并且每次都需要相同的环境。合成世界在时间和数据上是固定的:日历不会移动,种子数据不会变化,同一个任务在第一次运行和第一千次运行中意味着相同的事情。我们牺牲了一点表面真实感,换来了一个我们完全掌控的世界。

掌控只是基础。一个世界可以非常稳定但仍然空洞,因此赢得训练时间的是深度:不是它的页面数量,而是它保真地保留工作因果结构的程度。五个属性设定了标准:行为保真度(控件、权限和错误遵循产品的逻辑);状态一致性(已发送的消息会出现在收件人处,已取消的会议会清除双方日历);工作流深度(早期选择会限制后续可能发生的事);权威验证(基于应用程序状态,而非像素);以及领域价值(该工作流值得改进)。在最关键的系统里,难度存在于权限、共享状态和审计历史中:这正是浅层克隆所跳过的结构。在这个标准之上,更多环境增加了多样性;低于它,则增加了噪音。

Echoverse工厂是如何工作的?

Echoverse是一个单一的流水线,有两个输出:保留工作流深度的完整领域世界,以及变化一种诊断出的交互的能力世界。两者都依赖于这样一个事实:我们拥有底层的数据库,因此成功是应用程序自身状态的一个属性,而不是模型对屏幕截图的读取。

构建世界

该流水线将少量的种子场景扩展成一个规格说明,然后将其编译成关于路由、状态和行为的机器可检查的断言。只有这样,它才会生成应用程序:一个在React界面下的FastAPI和SQLite后端。一个新生成的应用程序是一个假设,而不是一个世界:构建器会针对运行环境运行每一个断言,修复数据库、后端或前端,直到每个断言都通过,然后写入一个就绪记录,将硬性阻塞与建议性风险区分开。存在未解决阻塞的世界不会被推进。这里的深度不是提示中的承诺;而是这个世界已被证明通过的断言列表。

扩充语料库

一个构建干净的世界仍然不是训练数据。我们将每个任务重新建立在实时数据库上,从实际存在的实体中提取目标,然后将每个目标发送给一个分析器面板进行检查:其实体是否真实,目标是否可行,其难度是否匹配工作,以及最严格的测试——一个驱动真实UI的代理能否完成它?最后的检查在浏览器中运行,在模型看到它们之前就能捕获任何界面都无法满足的目标。生成的目标是一个断言;在真实应用程序上成功解决是证明。

每一次失败都会成为一个问题,并根据需要更改的层进行标记:数据库、后端、前端、任务文本或验证器。特定层的修复器会应用修复,针对运行中的应用程序重新检查,并在造成回归时回滚。循环会根据数据库真实状态重新评分,直到通过率停止攀升,每个留存的任务都携带着精确评分的检查条件被导出。这些任务通过一个过程成为训练数据:GPT-5.4解决每个任务,一个验证器保留通过真实状态检查的轨迹,这些轨迹就成为以下所有实验背后的监督微调(SFT)数据。

构建世界和扩充语料库不是两个阶段,而是一个循环:大多数缺陷属于世界本身,因此我们在每次迭代中重新版本化环境。更困难的任务暴露了世界的缺陷,更健壮的世界可以承载更困难的任务,因此每一轮循环都使两者变得更强大。

两阶段流水线图。第一阶段将种子场景扩展成一个应用程序,并修复其数据库、后端和前端,直到通过机器可检查的断言。第二阶段将任务重新建立在实时数据上,并迭代一个由分析器和修复器代理组成的循环,然后根据数据库真实状态重新评分,直到通过率趋于平稳。一个虚线箭头显示许多任务循环修复最终会回到世界本身。图2:环境工厂:每个世界背后的两个循环。第一阶段将少量种子扩展成一个应用程序,然后修复数据库、后端和前端,直到通过机器可检查的断言。第二阶段将任务重新建立在实时数据上,运行一个由分析器和特定层修复器代理组成的面板,并根据数据库真实状态重新评分,直到通过率趋于平稳。许多这些修复最终会落回到世界本身(虚线箭头)。### 验证器基于数据库真实状态

每个任务都携带自己的答案键,一个在生成时通过SQL查询从真实数据库中创建的值或状态变化,它在结构上是真实的,并在代理完成后被重新检查。对读取任务的评分基于与存储值的语义等价性(288可以匹配287.62)。 对写入任务则基于真实的变更前/后数据库差异,因此除非行状态改变,否则声称关闭了工单是失败的。 对读写任务则取两者中的较低分。 评分很难被钻空子,它基于真实状态而非人工标记,并且在EchoStay、EchoForge和EchoBank等不同世界中保持一致。

完整领域承载工作流

结果最严重的工作的领域是对公共基准来说最难触及的:封闭的、专有的系统,其难度在于权限、共享状态和历史记录,而不是布局。一个忠实的克隆必须再现这一点。重要的不是像素,而是一个操作的后果能跨越屏幕和用户,因此一个任务可以运行真正的工作流,并根据它留下的状态进行评分。

十个Echo领域涵盖了通信、技术工作、受监管记录、社区、媒体和旅行。在存在丰富公共数据集的地方,我们以此为基础:EchoStay的数据源自InsideAirbnb,因此其房源、房东、评论和设施都是真实的而非虚构的;EchoForum基于一个包含255万条评论的公共论坛语料库。在没有公共数据集的地方,如邮件、日历、银行和健康记录,一个数据生成流水线在严格约束下生成状态,密集且内部一致,而不是少数几行占位数据。

工作流程类别\n环境\n世界必须承载的深度\n 通信与协调\nEchoMail, EchoCalendar, EchoChat\n共享线程、日程、参与者、权限、历史记录\n 技术创建与操作\nEchoML, EchoForge\n制品、配置、依赖关系、角色、多阶段变更\n 受监管记录与交易\nEchoBank, EchoCare\n余额或记录、授权、审计历史、后果性写入\n 社区、媒体与旅行\nEchoForum, EchoTunes, EchoStay\n持久偏好、社交状态、搜索、预订、账户操作\n 表1:Echo家族的十个完整领域环境,按它们代表的工作分组。每个都是广泛使用产品的忠实替代品,以工作流而非品牌命名。 累积的状态使得一个操作的后果能够跨屏幕和用户传播。EchoStay中的一次预订需要通过搜索、列表、可用性和支付,涉及大约87个路由和23个数据表,但不只是单一的确认屏幕;一个EchoMail线程承载从草稿到投递、回复和标签状态的完整意图;一个EchoCare订单将每次更改写入审计追踪。这些任务正因为此而代价高昂,通常需要五到二十步深,并且只有在底层状态发生改变时才完成。

Echo套件各领域卡片网格。每张卡片命名一个环境,并列出其后端、种子数据和功能表面的基于真实状态的数据库计数,显示每个都是自包含的交互式克隆,而非模型。图3:Echo套件中各领域的详细信息。每个都作为其建模应用程序的自包含、完全交互的克隆发布,拥有自己的后端、种子数据库和功能表面。计数是基于真实状态的数据库状态,而非模型原型。### 能力世界隔离单一技能

并非每个弱点都代表一个缺失的领域;有些是由代理无法可靠操作的单个控件引起的。想象一个代理预订旅行:它搜索、过滤、打开正确的房源,然后在日期选择器处卡住,无法将“三月的第二周”转换为在陌生日历上的正确点击。构建另一个预订网站并不能解决这个问题。只有当控件本身以足够多的形式出现时,该技能才能被学习。

相似文章

计算机使用代理

OpenAI Blog

# 计算机使用代理 来源: [https://openai.com/index/computer-using-agent/](https://openai.com/index/computer-using-agent/) 通过计算机使用代理(Computer-Using Agent)为Operator提供支持,这是AI与数字世界交互的通用接口。今天我们推出了[Operator⁠\(在新窗口中打开\)](https://operator.chatgpt.com/)的研究预览版,这是一个能够在网络上为你执行任务的代理。Operator由计算机使用代理(CUA)驱动,这是一个结合了GPT-4o视觉功能的模型