我给 AI 代理在我的电脑上装上了“眼睛”

Reddit r/AI_Agents 工具
ai-agents computer-vision open-source ui-automation desktop-tools

摘要

作者介绍了 Pupil，这是一款开源工具，使 AI 代理能够视觉检查 PC 用户界面并识别点击目标，而无需依赖截图。

我构建了 Pupil，这是一款开源工具。解决的痛点是：以往为了询问 AI 工具该点击哪里，往往需要发送大量截图。现在，代理可以直接检查 UI，指出目标位置，并等待批准。欢迎提供反馈。
查看原文

相似文章

智能体-计算机观察接口实现动态计算机使用

arXiv cs.AI

本文介绍了智能体-计算机观察接口（AOI），这是一种模型无关的感知层，它将计算机使用智能体的连续自适应观察与离散动作解耦。AOI 在动态浏览器任务上实现了显著的性能提升（+17 到 +48 个百分点），且无需重新训练，关键洞察在于将捕获的帧叙述为持久文本是改进的主要驱动因素。

AI代理应使用真实应用。

Reddit r/openclaw

OpenGUI是一种工具，允许AI代理通过读取屏幕和自然交互直接操作真实Android应用，而非依赖API或脚本。