@SemiAnalysis_: 今天,我们发布了 GDPx,这是一个用于衡量智能体在最具价值的领域中能力的基准。GDPx 是一个……

X AI KOLs Timeline 工具

摘要

SemiAnalysis 正式推出 GDPx,这是一项前沿水平的基准测试,用于衡量智能体在最具经济价值的各个领域中的能力,即使是目前最优秀的模型,得分也仅为 12%(1/7)。

今天,我们发布 GDPx,这是一个用于衡量智能体在最具价值领域中能力的基准。 GDPx 是一个真正的前沿级基准:即使是最好的模型也只能得到 12% 的分数 (1/7)🧵 https://t.co/RNnkcuUkih
查看原文
查看缓存全文

缓存时间: 2026/11/02 14:16

今天,我们发布了 GDPx,这是一个用于衡量智能体在最具价值的领域中能力的基准。

GDPx 是一个真正的前沿级基准:即使是最好的模型也只能得分 12% (1/7)🧵

GDPx 涵盖以下领域。每个领域都与至少一家专业数据合作伙伴共同开发。SemiAnalysis 负责最终质量保证,并深度参与了任务迭代。(2/7)

我们认为,AI 收入中的首个万亿美元将集中在能够以高投资回报率部署前沿智能的行业,而不会广泛分散于整个经济体。因此,按照 GDP 占比或 SOC/O*NET 职业分类体系来构建通用基准是错误的。如果你的目标是跟踪前沿模型的进展,就应该关注它们将产生最大影响的领域。这就是为什么我们纳入了芯片设计、网络安全和生物学,而非政府、房地产和保险等领域。(3/7)

需要强调的是,Opus 5.5 和 GPT-6 Astra 等某些模型的总体得分受到其安全分类器的拖累。如果排除网络安全、生物学和对齐这三个有时会触发安全分类器的领域,就会得到以下结果。

令我们惊喜的是,这一排名与我们对这些模型的主观印象非常吻合。(4/7)

我们认为,在为特定用例选择最佳模型时,安全分类器的重要性被低估了。例如,Muse Wonder Full 实际上是目前可用的最佳网络安全模型,而且领先幅度相当明显。(5/7)

我们衷心感谢各位数据合作伙伴为 GDPx 作出的贡献

Arcverex: @ARCVEREX Aria: @ariadata_ @nratliff9 Arithmetic: @arithmeticlabs1 @uri_rolls Beautiful Machines: @btfl_machines @akarshaurora Chakra: @chakra_ai @27upon2 Datacurve: @datacurve @serenaa_ge Emulated: @emulated_ai @josephwang Ergodex: @ergodexlabs Extrapolate: @qasim31wani Fleet: @fleet_ai @Yngkvn Latch: @LatchBio @kenbwork Living Context: @livingcontextai @_rahulparikh Third Moment: @thirdmomentres @adamkhakhar ValenceForge: @valenceforge @bryancsk

同时感谢 @FireworksAI_HQ 为开源模型提供推理服务,以及 @modal 提供沙箱基础设施 (6/7)

欢迎访问我们的专题网站:https://gdpx.semianalysis.com

以及我们的博客:(7/7) https://semianalysis.substack.com/p/gdpx-measuring-frontier-model-capabilities…

相似文章

衡量我们的模型在实际任务中的性能

OpenAI Blog

OpenAI 推出 GDPval,这是一个新的评估框架,用于衡量 AI 模型在涵盖美国 GDP 贡献最高的 9 个行业中 44 个职业的经济价值任务上的表现。该基准包括 1,320 个基于实际专业工作产物的专业化任务,代表了从学术基准向更现实的职业评估的进步。