ai-benchmark

标签

Cards List
#ai-benchmark

AI 电话服务;为何在一项包含 150 个问题的新地点基准测试中,Ask Maps 每 5 个回答就有 1 个出错(49/100),以及为何智能体仍会致电前台

Reddit r/ArtificialInteligence ↗ · 9小时前

一项新推出的开源基准测试 PlaceBench 包含覆盖 121 座城市的 150 个问题,以场所自身提供的数据为依据,对六款 AI 助手进行评分。Dots 以 92/100 分领先,Ask Maps 则以 49/100 分落后。测试还暴露了地图快照过时、回答不一致等问题,凸显了将信息查询与 AI 电话服务相结合的必要性。

0 人收藏 0 人点赞
#ai-benchmark

@WrenChenx: W C 突发 神秘 AI 突然登顶!! 超越 Claude、ChatGPT~ Contra Labs 联合 BenchFlow 发布了 Frontier Design Benchmark,一个专门测试 AI 设计能力的新榜单。 榜首不是 …

X AI KOLs Timeline ↗ · 17小时前 缓存

Contra Labs 与 BenchFlow 联合发布 Frontier Design Benchmark,一个基于真实客户设计需求、由专业设计师盲评的 AI 设计能力新榜单。神秘模型 Gestalt 登顶,超越 Claude、GPT-6.1 等主流模型,排名第二的则是人类设计师。

0 人收藏 0 人点赞
#ai-benchmark

AI 能帮助科学家筛选有前景的药物候选分子吗?

OpenAI Blog ↗ · 昨天 缓存

OpenAI 推出了 MedChemBench,一个包含 99 个药物化学推理问题的基准测试,用于检验 AI 模型将分子结构与实验证据关联起来的能力。GPT-6.2 Astra 以 84.5% 的得分领先,其次是 GPT-6 Astra(83.3%)、GPT-6.1 Sol(82.0%)和 GPT-5.6 Sol(58.2%)。

0 人收藏 0 人点赞
#ai-benchmark

两款隐身模型悄然登上排行榜,均超越 Fable 5.2

Hacker News Top ↗ · 昨天 缓存

Contra Labs 和 BenchFlow 推出了 Frontier Design Benchmark(前沿设计基准测试),在基于专业设计师对真实客户设计需求进行盲评投票而构建的 Elo 排行榜上,两款隐身模型的排名均高于 Claude Fable 5.2。

0 人收藏 0 人点赞
#ai-benchmark

@rohanpaul_ai:Y Combinator 初创公司 Synthetic Sciences 推出了 FrontierML,这项基准测试难度极高,以至于 5 个前沿 AI 中没有一个……

X AI KOLs Following ↗ · 2天前 缓存

Y Combinator 初创公司 Synthetic Sciences 推出了 FrontierML,这是一项基准测试,旨在检验 AI 智能体能否在目标隐藏、使用真实 GPU 并自行定义进度指标的条件下,自主开展机器学习研究——而参与测试的 5 个前沿模型中,没有任何一个在其 25 道问题中的任何一道上取得出色成绩。

0 人收藏 0 人点赞
#ai-benchmark

超导体基准在哪里?

Reddit r/singularity ↗ · 2026-10-29

作者认为,发现更高温的超导体——从目前约150K的纪录向常压下的室温超导(293K)迈进——将是一个理想的工程领域AI基准,同时能为人类带来重大福祉。

0 人收藏 0 人点赞
#ai-benchmark

新版 AA 智能指数 v5 借助“私有测试”,恰好抬高了 GPT 和谷歌模型的排名,同时压低了中国开放权重模型的排名

Reddit r/artificial ↗ · 2026-10-29

Artificial Analysis 智能指数 v5 因引入基于私有数据集的非公开测试而受到批评。这些测试似乎偏袒 GPT 和谷歌旗下的闭源模型,同时大幅拉低了 Kimi 3.1 Pro 和 DeepSeek 4.1 Flash 等中国开放权重模型的排名,而与此同时,谷歌的 Carbon 4 登上了该指数榜首。

0 人收藏 0 人点赞
#ai-benchmark

Skyfall称其前沿工程模型Sky-001以快100倍、便宜150倍的性能超越Astra

Reddit r/singularity ↗ · 2026-10-20

Skyfall发布了其前沿工程模型Sky-001,声称其在速度上比Astra快100倍,成本低150倍。

0 人收藏 0 人点赞
#ai-benchmark

@rohanpaul_ai:谷歌已向付费客户开放 Gemini 4 Argon,它已在 Vals AI 的专业工作指数中位居榜首。自其……

X AI KOLs Following ↗ · 2026-10-13 缓存

谷歌的 Gemini 4 Argon 正式向付费开发者和企业用户开放,凭借 100 万 token 输出上下文窗口和更低的推理成本,在 Vals AI 的专业工作基准指数上超越 Claude Sonnet 5.5 和 Opus 5.5,位列第一。

0 人收藏 0 人点赞
#ai-benchmark

@elonmusk:超级智能(曾用名 AI)如今已能轻松通过会计测试

X AI KOLs Timeline ↗ · 2026-10-02 缓存

马斯克转发了一条帖子,指出 AI 模型(他戏称为“超级智能”)如今已能轻松通过会计测试,而就在十八个月前,这类模型的表现还远低于会计师的平均约 37% 得分。

0 人收藏 0 人点赞
#ai-benchmark

GPT-6.1 Sol 在 Humanity's Last Exam — Diamond 中位列第三

Reddit r/singularity ↗ · 2026-09-30

GPT-6.1 Sol 在 Humanity's Last Exam(Diamond)排行榜上位列第三,标志着前沿 AI 基准测试性能的一个重要里程碑。

0 人收藏 0 人点赞
#ai-benchmark

Vending-Bench: 我们如何衡量AI能否自主经营业务?

Reddit r/ArtificialInteligence ↗ · 2026-09-29

文章介绍了Vending-Bench,这是一个旨在评估AI能否自主经营业务的AI基准测试,并附有arXiv上的相关研究链接。

0 人收藏 0 人点赞
#ai-benchmark

斯坦福抗衰老人工智能基准泄露——终于有人推动人工智能公司认真对待衰老

Reddit r/singularity ↗ · 2026-09-29

斯坦福泄露的抗衰老人工智能基准评估了人工智能模型在衰老科学任务上的表现,显示了性能差距,并敦促人工智能公司优先考虑这一领域的医学研究。

0 人收藏 0 人点赞
#ai-benchmark

Opus 5.5(高)在短篇小说创意写作基准测试中较Opus 5(高)有所提升,分数从3.5提升至3.8,仅次于Fable 5.1(高)和Opus 5(极高)。

Reddit r/singularity ↗ · 2026-09-28

本文报道了短篇小说创意写作基准测试的最新分数,显示了Opus 5.5、Grok 4.7和Gemini 3.8 Flash等AI模型的改进,排行榜涵盖了56个模型和超过100,000次评估判断。

0 人收藏 0 人点赞
#ai-benchmark

AI模型与工具组合:哪一个最好?

Reddit r/AI_Agents ↗ · 2026-09-28

本文介绍了一个基准测试,用于比较各种AI模型与工具组合在数学、视觉和编程等任务中的能力和速度,并列出了两个类别中的最佳表现者。

0 人收藏 0 人点赞
#ai-benchmark

@Alex_ybuild: 嘿嘿,让我隆重向大家介绍面向人类的基准测试——humanbench https://humanbench.ybuild.ai 快来,…

X AI KOLs Timeline ↗ · 2026-09-26

这条推文介绍了humanbench,一个用于评估AI模型以确定其模型大小和个性特征的基准测试工具。

0 人收藏 0 人点赞
#ai-benchmark

按下X以怀疑评估:我告诉14个AI模型现在是2026年9月,并在无网络搜索的情况下展示了20件今年真实发生的事件。平均而言,它们给现实打了36%的概率。

Reddit r/singularity ↗ · 2026-09-26

一位工程师测试了14个AI模型,向它们展示了20个来自2026年的真实AI事件,且无网络访问权限,发现模型对这些事件的平均可能性评分仅为36%,凸显了其自我预测能力的显著差距。

0 人收藏 0 人点赞
#ai-benchmark

Astra 在 IKEA 家具组装中领先

Reddit r/singularity ↗ · 2026-09-26 缓存

Epoch AI 创建了家具组装基准(FAB),用于测试 AI 模型在 IKEA 组装照片中识别错误的视觉推理能力。OpenAI 的 GPT-6 Astra 以 80% 的准确率领先,显示出比以往模型的大幅改进。

0 人收藏 0 人点赞
#ai-benchmark

这很有趣。我终于可以跟进一个 RemindMe 评论了。今年3月25日,六个月前,没有模型在 ARC-AGI-3 上能拿到 1%。一位评论者问我们是否能在 $2 成本下看到 75%。现在成本仍然很高($26.1k),但 GPT-6-Astra-Max 达到了 62.7%(无需 harness!)

Reddit r/singularity ↗ · 2026-09-25

GPT-6-Astra-Max 在 ARC-AGI-3 基准测试中在六个月内达到了 62.7%,并且使用记忆适配器后,基准测试已饱和,尽管成本仍然很高,这表明 AI 模型朝着更便宜的趋势发展。

0 人收藏 0 人点赞
#ai-benchmark

AI模型在模拟业务挑战Vending Bench中获500美元和自动售货机运营一年:GPT-6 Sol将投资转化为14,428美元,以八分之一成本媲美Astra

Reddit r/singularity ↗ · 2026-09-25

在模拟商业挑战Vending Bench中,AI模型获得500美元和自动售货机运营一年。GPT-6 Sol实现14,428美元利润,以八分之一成本接近Astra的表现。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈