在4种浏览器快照格式上进行了35次智能体试验——通过率相同,但令牌成本不同

Reddit r/AI_Agents 工具

摘要

Opera团队测试了多种浏览器快照格式用于AI智能体,发现通过率相同,但他们的压缩格式(opera-compact)显著降低了令牌成本,该格式消除了冗余的ARIA属性和重复的URL。他们将其作为开源MCP服务器发布。

不假装谦虚,我是Opera构建智能体浏览器工具的团队成员,所以请对这些数字持保留态度。我们一直遇到的问题:当智能体操作浏览器时,其上下文有多少真正用于任务,而不是每一步都重新读取相同的页面结构?我们想要一个真实数字而不是猜测。实验设置:7个浏览器任务(改编自AXI的bench-browser套件),使用gpt-5.5 medium推理模型,每种条件运行5次。 | 格式 | 通过率 | 平均输入令牌数 | 工具调用次数 | |---------------------------------------|------|------------------|------------| | 未处理的MCP (chrome-devtools-mcp) | 100% | 179.2k | 2.1 | | AXI参考CLI | 100% | 102.2k | 1.5 | | 我们的原始输出(无压缩) | 100% | 107.5k | 1.6 | | 我们的压缩格式(opera-compact) | 100% | 36.3k | 1.4 | 所有格式的通过率相同——差异完全在于智能体达到目标所付出的代价。压缩来自于去除真正冗余的内容:对于给定角色已经隐含的ARIA属性、重复的文本节点、重复的URL被压缩为查找表而不是每次都内联。以opera-browser-cli / opera-devtools-mcp的形式发布,采用Apache-2.0许可证,作为MCP服务器插入:npm install -g opera-browser-cli && opera-browser-cli setup 如果你运行的是多智能体管道,其中子智能体不断重新抓取快照,我们很好奇这种差距在那种规模下是扩大还是缩小——我们只测试了单智能体循环。(评论中有链接)
查看原文

相似文章

Agent Execution Tax:浏览器代理基准测试的新衡量指标

Reddit r/LocalLLaMA

Fireworks AI 和 Notte 在运行了四个 LLM 的 720 个浏览器代理任务后,引入了 'Agent Execution Tax' 指标,发现执行可靠性——而非智能——是智能体 AI 的主要瓶颈,其中一个模型在格式错误的 JSON 上浪费了 22.9% 的推理调用。