用于执行自主任务的原生计算机操作应用

我开发了 Vantage，这是一款开源的 Windows 11 应用。你只需在聊天框里输入任务，AI 模型就会在你的实际桌面上执行：它会查看屏幕、点击和输入，通过 Windows UI 自动化读取窗口内容，还能运行 PowerShell。在一次测试中，只用一条提示，它就完成了这些操作：在 Edge 中打开七篇维基百科文章，读取各篇信息框中的数值，用计算器的长度转换功能进行换算，在记事本中为每座山分别保存一个文件，从设置中读取系统信息，再写出一份排序后的汇总。使用 Gemini 3.8 Flash，整个过程共 80 步，耗时约 8 分钟。我着重让它读取信息，而不是猜测，因此它会读取窗口中的实际文本，而非依赖截图，也不会输入自己尚未读到的数字。它还会按照你指定的方式执行任务，所以“使用计算器”就意味着使用计算器，而且它不会动你已打开的浏览器标签页或剪贴板。你需要自备 API 密钥，可以使用任何兼容 OpenAI 接口且模型支持图像输入的服务商。所有内容都存储在本地，API 密钥则通过 Windows DPAPI 加密。它仅支持 Windows，目前仍处于早期阶段，执行时不会在每一步之前征求确认，而且效果在很大程度上取决于所用模型，所以我很想听听它在哪些任务上会失败。演示、源码和安装程序的链接都在评论区。