@SemiAnalysis_: 今天,我们发布了 GDPx,这是一个用于衡量智能体在最具价值的领域中能力的基准。GDPx 是一个……
摘要
SemiAnalysis 正式推出 GDPx,这是一项前沿水平的基准测试,用于衡量智能体在最具经济价值的各个领域中的能力,即使是目前最优秀的模型,得分也仅为 12%(1/7)。
查看缓存全文
缓存时间: 2026/11/02 14:16
今天,我们发布了 GDPx,这是一个用于衡量智能体在最具价值的领域中能力的基准。
GDPx 是一个真正的前沿级基准:即使是最好的模型也只能得分 12% (1/7)🧵
GDPx 涵盖以下领域。每个领域都与至少一家专业数据合作伙伴共同开发。SemiAnalysis 负责最终质量保证,并深度参与了任务迭代。(2/7)
我们认为,AI 收入中的首个万亿美元将集中在能够以高投资回报率部署前沿智能的行业,而不会广泛分散于整个经济体。因此,按照 GDP 占比或 SOC/O*NET 职业分类体系来构建通用基准是错误的。如果你的目标是跟踪前沿模型的进展,就应该关注它们将产生最大影响的领域。这就是为什么我们纳入了芯片设计、网络安全和生物学,而非政府、房地产和保险等领域。(3/7)
需要强调的是,Opus 5.5 和 GPT-6 Astra 等某些模型的总体得分受到其安全分类器的拖累。如果排除网络安全、生物学和对齐这三个有时会触发安全分类器的领域,就会得到以下结果。
令我们惊喜的是,这一排名与我们对这些模型的主观印象非常吻合。(4/7)
我们认为,在为特定用例选择最佳模型时,安全分类器的重要性被低估了。例如,Muse Wonder Full 实际上是目前可用的最佳网络安全模型,而且领先幅度相当明显。(5/7)
我们衷心感谢各位数据合作伙伴为 GDPx 作出的贡献
Arcverex: @ARCVEREX Aria: @ariadata_ @nratliff9 Arithmetic: @arithmeticlabs1 @uri_rolls Beautiful Machines: @btfl_machines @akarshaurora Chakra: @chakra_ai @27upon2 Datacurve: @datacurve @serenaa_ge Emulated: @emulated_ai @josephwang Ergodex: @ergodexlabs Extrapolate: @qasim31wani Fleet: @fleet_ai @Yngkvn Latch: @LatchBio @kenbwork Living Context: @livingcontextai @_rahulparikh Third Moment: @thirdmomentres @adamkhakhar ValenceForge: @valenceforge @bryancsk
同时感谢 @FireworksAI_HQ 为开源模型提供推理服务,以及 @modal 提供沙箱基础设施 (6/7)
欢迎访问我们的专题网站:https://gdpx.semianalysis.com
以及我们的博客:(7/7) https://semianalysis.substack.com/p/gdpx-measuring-frontier-model-capabilities…
相似文章
全新前沿级长周期基准测试 GDPx(GDPval 的继任者)。最佳模型得分约为 12%
一项名为 GDPx 的全新前沿级长周期基准测试已发布,它是 GDPval 的继任者;即使是最优秀的模型,得分也仅在 12% 左右,凸显出智能体任务表现仍存在巨大差距。
衡量我们的模型在实际任务中的性能
OpenAI 推出 GDPval,这是一个新的评估框架,用于衡量 AI 模型在涵盖美国 GDP 贡献最高的 9 个行业中 44 个职业的经济价值任务上的表现。该基准包括 1,320 个基于实际专业工作产物的专业化任务,代表了从学术基准向更现实的职业评估的进步。
新型代理基准发布:Claude Fable 和 GLM 5.2 各自领先同类
一项新的代理基准测试已发布,Claude Fable 和 GLM 5.2 在各自类别中名列前茅。
Artificial Analysis Capability Indices v1.1 (2分钟阅读)
Artificial Analysis 发布了 Intelligence Index v4.2,这是一个临时更新,包含新评估如 AA-Briefcase 和 GDP.pdf,增加了私人测试集以防止作弊,关键结果显示 Anthropic 和 OpenAI 领先。
单一能力还是多重能力?测试前沿人工智能评估的经济有效性
这项研究检验了人工智能排行榜中的经济基准是在衡量独立能力,还是仅仅反映一个总体趋势,结果表明它们提供了额外的信息,但主要受时间因素驱动。