Syll：跨表面执行的开源个人自动化

# 1 引言
来源：https://arxiv.org/html/2606.07594

###### 摘要

个人AI智能体越来越多地需要在API、Shell、网页界面和桌面GUI之间协同操作，然而许多系统仍局限于单一接口，对用户教学和审计性的支持有限。我们提出Syll，一个开源的、自托管的多模态智能体框架，它在模块化运行时环境中统一了MCP/API工具、CLI执行和可视GUI控制，使智能体能够跨异构界面协调计算机使用，同时简化用户与智能体之间的信息交换。Syll的核心是双向用户-智能体交互层：用户通过直接演示来教授流程，Syll将其编译为可复用的技能；智能体的执行则被转换回多模态证据——日志、关键帧和审批检查点——以供检查和管控。Syll还将记忆、技能、例程和治理外部化为可编辑的本地工件，支持直接检查、扩展和下游开发。我们的实现已在包括Adobe Photoshop、Adobe Audition、星露谷物语、macOS Finder等在内的生产级桌面应用中得到验证。我们报告了面向机制的实证研究，验证了多模态路由、可教授GUI回放以及持久化本地工件的可行性。我们希望Syll能成为个人自动化的实用开源基础，让用户能够教授、检查和持续扩展。

个人AI智能体越来越多地需要完成真实任务，而不仅仅是回答孤立的问题。一个简单的请求可能涉及本地文件、脚本、网页仪表板以及仅屏幕可见的闭源桌面应用。强大的语言建模是必要的，但不够。可靠的完成还取决于智能体框架：即构建上下文、选择接口、协调执行并返回可审查结果的那一层。最近的证据表明，框架设计和智能体-计算机接口选择会实质性地影响下游性能[14 (https://arxiv.org/html/2606.07594#bib.bib14),8 (https://arxiv.org/html/2606.07594#bib.bib8)]。

第一个未解决的问题是，一个智能体应如何在异构工作面上行动。MCP/API风格的工具在已有干净的机器接口时是可靠的[11 (https://arxiv.org/html/2606.07594#bib.bib11),7 (https://arxiv.org/html/2606.07594#bib.bib7)]。CLI执行对于可组合的本地控制和长周期确定性工作流非常强大[14 (https://arxiv.org/html/2606.07594#bib.bib14)]。然而，许多实际任务仍然依赖GUI交互，因为状态仅在像素中可见、API不可用，或者用户需要屏幕级别的信息[18 (https://arxiv.org/html/2606.07594#bib.bib18),13 (https://arxiv.org/html/2606.07594#bib.bib13),10 (https://arxiv.org/html/2606.07594#bib.bib10),17 (https://arxiv.org/html/2606.07594#bib.bib17)]。现有系统通常偏向某一类接口，迫使在可靠性与覆盖率之间权衡。对于个人自动化而言，这些界面是互补的：每一步应使用能完成任务同时保留所需审计界面的最窄接口。

第二个问题是知识如何在用户和智能体之间流动。许多系统假设操作知识必须在智能体使用之前被重写为提示、模式或技能文件。这过于受限：用户可能知道*如何*执行任务，却不知道如何将其形式化。相反，原始文本轨迹在长周期任务后通常成本过高、难以检查。因此，个人自动化需要一个“演示到技能”的工作流以及一个证据管线：人的技能变为可复用的技能，智能体的执行变为截图、关键帧、日志、差异、预览和审批检查点。

我们将这一观点实现在Syll中，一个**开源的、自托管的多模态智能体框架**，用于**可教授的个人自动化**，如图1所示。Syll统一了MCP/API工具、CLI执行和可视化GUI控制，集成于一个模块化运行时。用户通过直接演示来教授流程，Syll将其转换为可复用的技能；运行时将执行结果转换回多模态证据以供审查。Syll还将记忆、技能、例程、治理和轨迹外部化为**持久化本地工件**，使系统对用户可检查，对开发者易于扩展。

![图1](https://arxiv.org/html/2606.07594#S1.F1)
*图1：Syll概览。该系统围绕一个中央多模态智能体框架统一了三种执行面——MCP、CLI和GUI。右侧分支显示了演示到技能的工作流以及从执行证据产生的审计跟踪。*这一设计既出于可用性也出于研究价值。将执行面、技能转换、证据生成、上下文构建和确认门控显式分离，减少了组件间耦合，降低了二次开发的门槛。同时也提高了审计性：随着任务视野变长[5 (https://arxiv.org/html/2606.07594#bib.bib5)]以及开放式计算机使用场景暴露验证负担[1 (https://arxiv.org/html/2606.07594#bib.bib1)]，实用价值取决于系统是否**可教授**、**可审计**和**可扩展**。我们通过对生产级桌面应用（包括Adobe Photoshop、Adobe Audition、星露谷物语和macOS Finder）进行面向机制的实证研究来评估这些目标。

本技术报告贡献如下：

- **开源多模态智能体**。Syll支持MCP/API、CLI和GUI作为互补执行面，并将任务路由到适当的层。
- **可教授工作流与审计跟踪**。直接演示变为可复用的技能，执行变为可审查的证据。
- **持久化本地工件**。记忆、技能、例程、轨迹、证据和治理作为用户可编辑的本地工件存在。
- **面向机制的评估**。我们验证了多模态路由、可教授GUI回放和持久化工作空间更新。

| 系统家族 | GUI | CLI/API | 演示 | 用户记忆 | 主要受众 |
| --- | --- | --- | --- | --- | --- |
| 仅CLI编码智能体 | 否 | 是 | 否 | 部分 | 开发者 |
| MCP/工具框架 | 否 | 是 | 否 | 部分 | 开发者/集成者 |
| GUI智能体 | 是 | 部分 | 部分 | 部分 | 自动化构建者 |
| 录制回放/RPA工具 | 是 | 部分 | 是 | 否 | 运维团队 |
| 伴生聊天智能体 | 否 | 部分 | 否 | 是 | 终端用户 |
| Syll | 是 | 是 | 是 | 是 | 用户和开发者 |

*表1：智能体系统家族的高层比较。“部分”表示该能力存在但非主要设计中心。*

## 2 相关工作

### 2.1 以智能体为中心的任务执行

近年来自主智能体的进展增强了推理、规划和感知能力。ReAct[15 (https://arxiv.org/html/2606.07594#bib.bib15)]和Reflexion[12 (https://arxiv.org/html/2606.07594#bib.bib12)]引入了推理-动作循环，用于分解、环境交互和基于反馈的改进。后续工作将这些想法扩展到工具调用和通过外部API及结构化函数进行长周期执行[11 (https://arxiv.org/html/2606.07594#bib.bib11),14 (https://arxiv.org/html/2606.07594#bib.bib14)]。视觉-语言模型将交互面扩展到了图形用户界面。像Claude Computer Use[2 (https://arxiv.org/html/2606.07594#bib.bib2)]、Operator[8 (https://arxiv.org/html/2606.07594#bib.bib8)]和UI-TARS[10 (https://arxiv.org/html/2606.07594#bib.bib10)]这样的系统通过截图和低级控制原语感知和操作GUI。尽管取得了这些进展，以智能体为中心的方法通常将执行面视为固定的，例如API、浏览器或特定的GUI环境，并且专注于智能体决定做什么。因此，交互知识（如点击哪些像素、等待哪些状态、预期什么结果）往往仍保留在单一的轨迹转录中，而不是可复用、可审计的工件。

### 2.2 以框架为中心的系统与录制回放系统

作为智能体层面工作的补充，另一条研究线研究可靠、本地拥有的执行的基础设施。像OpenClaw[9 (https://arxiv.org/html/2606.07594#bib.bib9)]和NanoBot[4 (https://arxiv.org/html/2606.07594#bib.bib4)]这样的框架提供了本地优先的运行时，集成了持久记忆、工具执行、调度和多通道通信。模型上下文协议（MCP）[7 (https://arxiv.org/html/2606.07594#bib.bib7)]标准化了智能体如何通过结构化、模式驱动的API与外部工具交互。这些以框架为中心的系统是模块化和可扩展的，但大多仍然是文本或结构化的；GUI交互（如果存在）通常是一个独立的子系统。

录制回放工具和编程演示（PbD）系统让用户无需编写脚本即可自动化重复的GUI工作流。Sikuli[16 (https://arxiv.org/html/2606.07594#bib.bib16)]使用截图驱动的搜索来重放视觉过程，CoScripter[6 (https://arxiv.org/html/2606.07594#bib.bib6)]捕获逐步的动作描述，Eager[3 (https://arxiv.org/html/2606.07594#bib.bib3)]主动检测迭代模式。更近期的努力如ShowUI-Aloha[17 (https://arxiv.org/html/2606.07594#bib.bib17)]将人类教授的GUI轨迹纳入智能体学习。这些方法捕获用户做什么，但它们通常缺乏语义阶段、与非GUI工具共享的持久注册表，以及用于检查的证据管线。因此，录制的工作流往往仍然是一个孤立的宏，而不是可以被检索、调度、验证并与其他技能一起优化的运行时抽象。

### 2.3 可教授自动化与执行审计

Syll所追求的两个核心目标仍然未得到充分体现：用户应该能够通过演示*教授*流程，并且每个执行的动作都应该留下*审计证据*。PbD和录制回放工具表明，演示可以传递操作知识，但它们很少将其连接到通用智能体的上下文构建器或同时包含MCP工具和CLI命令的共享注册表。智能体评估也很大程度上由成功率驱动；像OSWorld[13 (https://arxiv.org/html/2606.07594#bib.bib13)]、WebArena[18 (https://arxiv.org/html/2606.07594#bib.bib18)]和OSWorld-Human[1 (https://arxiv.org/html/2606.07594#bib.bib1)]这样的基准衡量任务完成情况，而较少的系统将轨迹结构化为用户可审查的证据，例如关键帧、差异、语义期望和审批。Syll将教学和审计视为一个工件工作流：演示变成一个可检查的技能，具有视觉线索和后状态期望；而运行时在MCP、CLI或GUI上的执行生成相应的审计跟踪。

### 2.4 从碎片化能力到统一工件生命周期

综上所述，先前工作在单一框架内留下了关于多面执行、用户教学以及持久、可检查证据的空白。表1总结了这一格局：GUI智能体提供视觉控制但有限的演示处理能力；MCP/工具框架提供结构化API但较少支持GUI；录制回放工具支持演示但缺少跨面路由和审计；伴生聊天智能体强调用户记忆但不涉及GUI自动化。Syll通过将执行面、技能注册、证据生成和记忆工件整合到一个模块化运行时中来解决这一空白。

## 3 方法

Syll是一个开源的、自托管的计算机使用框架，用于多模态个人自动化。它针对的场景是，一个本地智能体必须跨手机、浏览器、终端、本地文件、定时例程和桌面应用保持上下文。我们将运行时建模为一个智能体循环：执行器通过结构化工具、shell或视觉GUI控制运行类型化动作；上下文构建器提供联合的外部加工件状态；验证器在执行或重试之前检查证据、成功条件和审批门控。关于运行时、演示-技能模式以及形式化工件-选项模型的更多细节，请参见补充材料。

![图2](https://arxiv.org/html/2606.07594#S3.F2)
*图2：Syll运行时概览。请求进入一个本地运行时，嵌入共享工作空间上下文，通过工具、命令或GUI控制路由，并留下审计证据，如确认信息、日志、截图、关键帧和工作空间差异。*

### 3.1 多模态执行空间

Syll针对跨聊天、本地文件、移动确认和桌面应用的重复性工作流。单一接口的智能体在可靠性和覆盖率之间权衡，因此Syll提供三个路由，并将每个请求通过最窄的可行路由进行调度。当存在干净的机器接口时，优先使用模式驱动工具和标准化连接器（包括MCP）。当目标状态可通过文本访问时，CLI通过shell、脚本和文件提供可复现的控制。当状态仅在像素中可见，或需要屏幕级证据时，Syll基于截图进行推理并派发桌面事件。这种回退机制使遗留应用无需自定义连接器即可被访问。

| 路由 | 选择条件 | 保留的证据 |
| --- | --- | --- |
| 结构化工具/API | 存在模式描述的操作、连接器、文件工具、投递工具或配置路由 | 工具名称、验证过的参数、输出/错误、确认记录 |
| 本地命令/资源 | 目标状态可通过shell、脚本、本地文件或浏览器可访问资源进行机器读取或可复现 | 命令、工作目录、stdout/stderr、生成的文件或差异 |
| 可视GUI控制 | 状态仅在像素中可见、无可靠API，或用户需要屏幕级证据 | 截图、关键帧、低级动作、视觉观察、语义期望 |
| 确认门控 | 外部投递、破坏性本地更改、账户变更、购买、或定时发送会产生用户可见的副作用 | 提案、候选工件、审批令牌、最终副作用记录 |

路由还决定了保留的证据（表2）。结构化工具保留验证过的参数和机器可读的结果；CLI保留命令、工作目录和输出；GUI控制保留截图、关键帧和动作轨迹。有副作用的操作（如文件投递、账户变更、定时发送和破坏性写入）被拆分为提案和执行，提交操作需等待用户提供审批令牌。

### 3.2 演示可教授技能与回放

某些操作知识更容易通过演示而非描述来传递。任务阶段、视觉线索、等待条件和预期的动作后状态通常在录制中比在提示中更清晰。Syll将每个桌面演示存储为一个可复用的、状态感知的技能，并通过与基于文本的技能相同的注册表暴露。基于编程演示和演示引导的GUI自动化[3 (https://arxiv.org/html/2606.07594#bib.bib3),6 (https://arxiv.org/html/2606.07594#bib.bib6),16 (https://arxiv.org/html/2606.07594#bib.bib16),17 (https://arxiv.org/html/2606.07594#bib.bib17)]，Syll将演示视为与录制、回放和审计相关联的一类运行时工件。一旦发布，技能可通过Web UI、自然语言调用和定时例程使用。

![图3(a)](https://arxiv.org/html/2606.07594#S3.F3)
*(a) 演示录制与打包。四个面向用户的步骤（录制、动作切片、构建轨迹、打包技能）将原始屏幕、鼠标和键盘事件转换为可复用的技能目录。内部行显示了底层流程。*