OpenComputer | 一款为智能体打造的开源计算机

Open Computer 在隔离的虚拟机中运行，推理部分使用 M4 Pro 通过 LM Studio 运行 Gemma 4 13B QAT。 大家好，我是 Tim，来自 AnythingLLM。在过去两年半里，我们一直在构建高效、本地的智能体和AI助手体验。今天我想聊聊我们在非技术用户智能体交互体验方面的一个新实验。 很明显，智能体工具的强大程度取决于你赋予它的权限。为了让智能体发挥最大作用，它几乎需要完全掌控整个 PC，以便在 CLI 或 API 调用失败时安装应用、操作界面。这显然不是安全的使用方式，我们也都清楚这一点。 我们看到了大量“智能体容器”涌现，比如 Apple 的 Containers、Microsoft MXC，甚至 Docker Sandboxes。它们都只是将智能体包裹在一个微型虚拟机中——这是正确方向的一步。但我对这些方案的问题在于，智能体向用户展示的体验。当智能体盲目地执行普通人无法理解的命令时，用户几乎没什么可观察或查看的，只能看着终端输出不断滚动。希望最终结果值得那些 token 的消耗。 我们想探索是否能向用户呈现一个常规的电脑界面。基本上就是一个看起来、用起来、操作起来都像真实电脑的智能体容器，但同时又允许智能体工具在其中随意行动。这就是 Open Computer —— 一台人类可管理、智能体可用的电脑。 我们想把“Perplexity Computer”的概念带到本地 AI 上——因为几乎所有智能体工具都需要大模型（如 256K 上下文）才能发挥作用。上面的视频展示的是 Gemma 4 13B QAT @ 32K 上下文的运行效果，它能正常运作！它可以操作浏览器（比原始 browser-use 节省超过50% 的 token！），利用原生应用的可访问性树在原生应用中输入数据，并且内置了许多针对小上下文窗口预配置的工具。这种设计意味着，如果接入大型云端模型，由于我们积极修剪上下文以防止膨胀，还能帮你省钱。 每个智能体计算机继承的“基础”镜像大约 3GB。每个智能体本身仅占用约 100MB 空间（比 RAM 还少），并且磁盘会被积极压缩以保持小巧——无论它安装多少东西来完成你交给的任务。 计算机本身非常轻量： - Debian 13.5 - XFCE4 定制美化（仿 Windows 10 风格） - Pi.dev 作为主要工具集 - 集成 Hermes 记忆和内置管理界面，与智能体计算机隔离 推理部分与虚拟机完全无关。你可以用一个智能体使用本地算力推理，另一个使用云端或本地服务器推理，等等。每个智能体都有自己完全虚拟化的隔离计算机，不会损害底层宿主机。 我们选择这样做的另一个原因是，当前“计算机使用”的范式在概念上存在根本性缺陷。让 LLM 劫持你的键盘和鼠标，仅凭截图挣扎着点击按钮，不仅看着让人着急，也是巨大的 token 消耗。Open Computer 完全不依赖截图进行导航。 最后，我们希望让用户成为中心。因此有一套完整的 UI/UX 设计，让智能体可以提示用户，用户也能在计算机中以合理的方式行动——比如登录网站、解决验证码，或任何智能体无法处理的任务，都可以由人类与智能体协作完成。 这一切都在 AnythingLLM 内开源构建：https://github.com/Mintplex-Labs/anything-llm/blob/master/open-computer/README.md —— 如果你对这个项目感兴趣，一个 Star 就是莫大的鼓励。我们理想的目标是在应用内构建一套 UI，让用户可以轻松为智能体启动/关闭这些计算机，并用本地硬件（包括 NPU）驱动它们。不过 Open Computer 对任何人都开放，可以集成到任何地方——甚至可以作为 MCP 被你正在使用的主智能体工具调用。到处都是智能体，哈哈。 无论如何，我想听听大家对这个概念的看法。我真的很享受“看到”智能体所做的工作、它们点击和阅读的内容。这感觉更像是在协作，而不是一个黑箱在运行，然后希望它能给出我想要的结果。目前一切还很早期，肯定存在 bug 和需要改进的地方！