@rsalakhu: 恭喜 @browser_use 团队在 Odysseys(一项极具挑战性的长周期 Web 智能体基准测试)中夺得第一名…
摘要
browser_use 团队在 Odysseys 基准测试中夺得第一名,这是一项针对长周期 Web 智能体的挑战性评估,其性能超越了 Opus 4.6 和 GPT-5.4 等模型。
查看缓存全文
缓存时间: 2026/06/16 21:40
恭喜 @browser_use 团队在 Odysseys 这一极具挑战性的长周期网络代理基准测试中夺得榜首:
https://odysseys-website.pages.dev/leaderboard
Odysseys 评估了真实世界、耗时数小时的网络工作流程,这些流程需要持续的规划、记忆、推理和验证,跨越众多网站和工具,远非简单的单步浏览器任务。
这是迈向真正强大的长周期代理的令人兴奋的进展。
排行榜 — Odysseys
来源:https://odysseys-website.pages.dev/leaderboard 所有 200 个 Odysseys 任务共有九个条目。我们在统一设置下评估了八个 CUA 模型——100 步预算、最大推理努力、使用 Google Chrome 在 OSWorld Ubuntu 虚拟机中运行。
| 模型 | 类型 | 代理 | O‑M2W 评判器 | 评分平均值 | 完美度 | 平均步数 | 轨迹效率 |
|---|
注释。
评分平均值将每个任务评分对视为独立观测值并取平均值。
完美度标记一个任务为通过,仅当所有评分项都满足。
O‑M2W 评判器是来自 Online‑Mind2Web 的轨迹级整体 LLM 评判器。
平均步数是指代理在每个任务中平均交互步数,数值越低表示效率越高。
轨迹效率 为 (1/N) · Σ si / ni,其中 si 是任务 i 的评分项平均分,ni 是代理步数。数值越高表示在较少步数内获得更强结果。
代理区分 CUA(使用截图并发出 GUI 动作的计算机使用代理)和 Terminal 代理(通过编写代码(例如 Playwright)驱动浏览器)。
标记为 — 的单元格表示来源未报告的指标。CUA 分数来自论文中的表 2;WebWright 来自 WebWright 文章。
按难度划分
任务分为三个等级。简单任务最多使用 5 步和 3 个领域,中等任务使用 6 到 8 步或 4 个或更多领域,困难任务则超出这两个阈值。每个条形显示完美评分率,即模型在每项评分项均满足的情况下解决的任务占比。
步数与完美分数对比
每个模型的完美评分率与其平均每任务步数对比,并叠加帕累托前沿。Opus 4.6 位于该前沿的能力端,而 GPT-5.4 和 GPT-5.4 Mini 则在步数预算与完美率之间进行权衡。每增加一步计算,收益会逐步递减。
散点图:完美评分率 vs 每任务平均步数,带帕累托前沿
图例:Sonnet 4.6 被 Opus 4.6 和 GPT-5.4 两者帕累托支配,后者以更少步数实现了更高完美率。开放权重模型位于前沿内部,花费更多步数却获得显著更低的完美率,指向能力上限而非步数预算不足。
相似文章
@browser_use: BrowserCode 在长时间运行任务上表现出色,它为我们订了披萨
BrowserCode 在 Odysseys 基准测试中夺得长时网络智能体第一名,展现了在多小时网络工作流中的强劲性能。
@JangLawrenceK: 我们与 Browser-Use 合作发布了新的实时网络评测,作为原始 Odysseys 论文的后续成果 Odysseys2…
Browser-Use 与卡内基梅隆大学研究人员合作发布了 Odysseys2,这是一个基于真实用户任务构建的高难度长时程实时网络智能体基准测试,其中最强的 SOTA 智能体仅完成了 100 个任务中的 47 个。
@browser_use:浏览器使用基准测试 v2 帕累托前沿今日完全重塑 > Claude Opus 5.5:59.4 > GPT‑6 Sol medium:66.9 (3.5...
浏览器使用基准测试 v2 更新了其帕累托前沿,展示了来自 OpenAI 的 GPT-6 模型在性能和成本效益上均超越了来自 Anthropic 的 Claude Opus 5.5。
@browser_use: Astra 在浏览器使用任务中堪称怪兽级选手
Astra 在 Browser Use Benchmark v2 上取得了 77.3% 的成绩,远超 Opus 5(50.5%)和 GPT-5.6 Sol xhigh(49.1%);在 60 项任务中,Astra 有 22 项获得满分,而 Opus 5 的满分任务数为零。
@browser_use: Opus 5 和 GPT-5.6 Sol 在此不相上下!
Alexander Yue 推出了一项新的浏览器使用基准测试,其中 Opus 5 和 GPT-5.6 Sol 表现相似,强调了基准测试的稳健设计,包括为大语言模型评委提供的经过验证的评分标准。