本地 LLM 智能体驱动的实体 KVM 控制器现已面世,且有一些有趣的使用场景:
摘要
一篇探讨新型低成本 IP KVM 控制器的文章,这些控制器通过 MCP 与本地或前沿视觉 LLM 集成,让 AI 通过 HDMI 采集和 HID 键鼠模拟来操控目标计算机,无需在目标机器上安装任何软件。文中介绍了 Sipeed NanoKVM Pro、Radxa Linkr 和 Violoop 等多个选项,适用于老旧工业系统和受管控的企业终端等场景。
前几晚我在研究本地 LLM 的计算机使用智能体,结果一不小心掉进了兔子洞,发现了一整类我以前完全不知道存在的硬件:智能体驱动的 KVM。
很多在数据中心工作过的 IT 从业者都对基于 IP 的 KVM(Keyboard Video Mouse)控制器很熟悉,它可以通过流式视频连接远程操作服务器。当你需要对数千英里之外的系统进行物理电源按钮/BIOS 级别的“裸金属”访问时,这类设备尤其有用。如果你没有裸金属访问权限,就只能亲自跑到数据中心机架那里去按按钮或修改 BIOS 设置了。
显然,现在市面上已经出现了相对便宜(80 到 150 美元)的基于 IP 的 KVM,它们支持 AI API 端点/MCP 集成,你可以将物理计算机连接到本地或前沿的具备视觉能力的 LLM,让你选择的 AI 模型通过 KVM 驱动目标计算机——具体来说,就是对计算机的 HDMI 或 USB-C 视频输出画面进行截图,然后通过连接到 KVM 的 USB 线缆,将 AI 模型生成的鼠标和键盘控制指令发送过去。
真正让我对这个概念感到兴奋的是,它完全不需要在你想控制的目标计算机上安装任何东西。这在企业环境中非常实用,因为你不被允许在目标计算机上安装任何软件(它是受管控且被锁定的终端)。目标计算机只会把 AI 识别为一个标准的、被允许的 HID 设备,而它的驱动早已加载好了。它根本不在乎是谁在操作系统,也不需要任何额外软件,因为键盘、鼠标和显示器都是通用设备,驱动通常是预装的。
因此,本质上你可以让 AI 驱动的 KVM 控制任何带有显示器输出和键鼠输入的计算机或设备。这有可能让 AI 与运行着老旧过时操作系统的古董级工业控制系统,或者受管控的终端进行交互。当然这存在安全风险,但如果你使用本地部署的 VLM(视觉语言模型),不将截图发送给第三方,这种风险几乎可以完全消除。
我发现目前市场上已经有不少低成本的智能体驱动方案,包括:
- Sipeed NanoKVM Pro https://wiki.sipeed.com/hardware/en/kvm/NanoKVM\_Pro/introduction.htm
- Radxa Linkr https://radxa.com/products/linkr/linkr/
- Violoop https://www.kickstarter.com/projects/bvio/violoop-plug-in-ai-for-your-computer
我跟以上任何一家都没有销售关系或利益关联,也没法告诉你哪个最好,但如果你因为上述某个场景需要这类设备,目前有多个选择可供参考。
总之,我很想知道其他人是否能想到这些智能体控制的 KVM 还有哪些我没想到的使用场景。
相似文章
仅需39美元的开源KVM已发布,成为让AI代理在操作系统层面控制机器的最经济方案
JetKVM推出了Mini,一款39美元的开源KVM-over-IP设备,使AI代理能够在硬件层面控制机器,实现无需目标设备软件即可重新安装操作系统等任务。
NanoKVM-Go
NanoKVM-Go 是一款硬件设备,能让你的AI代理获得对任何屏幕的物理控制,从而通过KVM直接操作显示器。
JetKVM Mini
JetKVM Mini 是一款紧凑、经济实惠的KVM设备,支持有线和无线选项,起价每单位33美元,具有1080p视频捕获和用于远程计算机管理的简单网页界面。
@JetKvm: 介绍 JetKVM Mini - 起价每台33美元。以太网或无线版。将于2026年10月26日上市。 https://jetkvm.com/bl…
JetKVM Mini 是一款紧凑、经济实惠的KVM设备,起价每台33美元,提供以太网和无线型号,设计用于轻松远程访问和控制计算机,具备视频捕获和USB功能。
硬件级交互才是通用代理的未来,而非ADB。
作者认为,硬件级交互(HDMI采集+USB HID触摸模拟)优于基于ADB的自动化,可用于构建与操作系统无关的通用AI代理,并介绍了他们使用廉价RV1106开发板的项目Aiden。