accessibility-api

Ambient Context 是一款 macOS 菜单栏应用，它通过捕捉聚焦窗口的文本，将其转换为 Markdown 文件供 LLMs 阅读，并具备隐私编辑功能且无网络调用。

MacOS Harness 是一个Python工具，它使LLMs能够通过辅助功能和脚本控制Mac系统，以最少的代码提供完全控制。

技术解析：macOS 如何通过 Accessibility API 和底层 CGEvent 分发机制支持两个同时存在的光标（用户与 AI 代理），从而实现后台计算机操作而不中断前台任务。

本文详细解析了如何在MacOS上利用Accessibility API、CGEvent.postToPid和event tap技术，实现让AI agent在后台操作窗口而不干扰用户，从而支持两个鼠标指针共存的场景。

本文介绍了 Opendesk，这是一个开源工具，通过利用原生辅助功能 API 识别交互元素，取代了容易出错的像素坐标猜测，从而提高了计算机操作智能体的可靠性。