为我的编码代理在真实浏览器中添加双手。难点不在于点击,而在于知道点击已生效。

Reddit r/AI_Agents 工具

摘要

一个工具,允许编码代理通过命中测试和影子根遍历修复点击注册问题,从而与真实浏览器交互,同时添加悬停和拖拽功能,并通过阻止关键操作确保安全。

披露:我构建了这个。它是免费的,MIT协议。链接在下方评论中,根据规则3。 大多数接触浏览器的代理设置驱动一个无头克隆,该克隆未登录任何账户,因此在第一步就遇到登录墙。那些确实驱动你真实浏览器的设置存在一个更微妙的故障,花费了我大量时间:代理报告“已点击保存”,但什么都没发生,你浪费五轮调试一个从未被按下的按钮。十有八九,一个cookie横幅或模态背景被绘制在点击点上并吞噬了它,而工具仍然返回成功。修复方法是在点击前进行命中测试,而不是解析边界框并在其中心触发。它通过开放和闭合的影子根下降,以找到在该像素上实际绘制的内容。如果目标被覆盖,它会说明这一点,滚动以清除固定的栏,或给覆盖层指针事件无,仅持续一次点击,并在之后恢复内联样式。相同的实际CDP点击,因此isTrusted保持为真。 两件事比我预期的更重要。悬停和拖拽作为一等操作。仅点击的工具界面根本无法到达仅悬停的菜单、滑块、画布应用或拖拽重排序列表,无论多少次重试点击都无法实现。它在关键操作前停止。发布、支付、密码、2FA。它填写所有相关内容,突出显示按钮,并将控制权交还给你。一个持有你会话cookie的代理不应能够以你的名义发布。 与Claude Code、Gemini CLI和Codex兼容。无需账户,无遥测,服务器只与你自己的浏览器通信。诚实提醒:已经有人注意到,叠加层穿透根据几何和样式而非语义分类层,因此它尚未能区分同意对话框和固定导航。修复已排队。如果有人在这里构建类似的东西,我很乐意深入探讨CDP方面。
查看原文

相似文章