我在一个真实站点上对我的浏览器代理与 Browser Use 进行了基准测试(150次验证运行,同一模型)。发送页面差异而非完整重渲染,使得令牌增长减少了37%。
摘要
一位开发者对 Rote 进行了基准测试,Rote 是一个浏览器代理的内存管理器,它发送页面差异而非完整重渲染,结果显示与 Browser Use 相比,令牌增长减少了 37%,但在短任务上存在权衡。
每个主要的浏览器代理框架都修复了旧问题——它们现在都会淘汰旧的页面观察(我阅读了 Browser Use 0.13.6、Skyvern、Stagehand 和 Magnitude 的源代码来确认)。但它们每一个在每次步骤中仍然会重新发送当前页面的完整渲染——在 Browser Use 中高达 40K 字符——即使唯一的变化只是一个复选框。我一直在构建 Rote,一个浏览器代理的内存管理器,它的核心技巧是:在获取一个页面的基础快照后,只发送差异,这些差异通过内容派生的元素 ID(角色+名称+血统的哈希值)来标识,这些 ID 在重渲染和导航中保持不变。基准测试:Browser Use 0.13.6 与 Rote,两者都使用 gpt-4.1-mini,真实 WordPress 站点,五种任务长度(9–25 步),每个单元 15 次匹配运行。成功由独立的页面状态断言判断,而非代理的自我报告。两个框架都取得了 75/75 的成绩。结果:
• 输入令牌增长:每步 2,160 vs 3,437——慢了 37.2%(95% 置信区间 35.6–38.8)
• 发送了 849 次差异,中位数 24 字符,对比 9,270 字符的完整快照(中位数减少了 99.6%),每次运行输出令牌减少 2.7 倍
在哪些方面它表现不佳——因为没有缺点的基准测试就是广告:在短任务(约 9 步)上,Browser Use 在花费上便宜约 15%,尽管使用了更多令牌——它们的长不变前缀正是提供商缓存所奖励的。成本在约 13 步时转向对我有利,到 25 步时便宜 16%。另外,淘汰意味着代理回忆的是它做了什么,而不是它看到了什么——需要回忆之前页面的任务在设计上会失败,直到我推出笔记机制。而且 Browser Use 默认启用历史记录压缩,我还没有这个功能。乐于回答任何关于方法论的问题——如果你认为设置在某些方面对 Browser Use 不公平,请告诉我,我会重新运行。
相似文章
@PrajwalTomar_: 大多数浏览器代理都在因已犯的错误而浪费你的令牌。你的浏览器代理完全没有记忆,因此每次……
WebCMD为Chrome等浏览器代理提供记忆功能,保存网站路径以避免重复错误并减少令牌浪费。它在Reddit上进行了测试,并在BU Bench V1中被评为最准确且每任务最便宜的代理。
在4种浏览器快照格式上进行了35次智能体试验——通过率相同,但令牌成本不同
Opera团队测试了多种浏览器快照格式用于AI智能体,发现通过率相同,但他们的压缩格式(opera-compact)显著降低了令牌成本,该格式消除了冗余的ARIA属性和重复的URL。他们将其作为开源MCP服务器发布。
@gregpr07: Browser Use Beta 刚刚在我们最难的内部网络代理基准测试中实现了 SOTA。Fable 在优化方面确实令人惊叹…
Browser Use Beta 在困难的内部网络代理基准测试中取得了先进的结果,使用了 Fable 进行优化和分析。
[开源] 仅浏览器工具,一键为您的代理提供稳定UI,用于快速测试或仅视觉体验
一个仅浏览器的开源工具,连接到兼容OpenAI的代理,并提供稳定、精致的UI用于测试,同时并排显示性能指标,如跨度、轮次和令牌。
@browser_use:规模化可靠网络代理的时代已经到来。
Browser Use Cloud v4 推出了一个网络代理平台,号称能够解决准确性和成本限制,使得规模化可靠网络代理成为可能,并提供 15 美元免费额度供试用。