标签
一项新推出的开源基准测试 PlaceBench 包含覆盖 121 座城市的 150 个问题,以场所自身提供的数据为依据,对六款 AI 助手进行评分。Dots 以 92/100 分领先,Ask Maps 则以 49/100 分落后。测试还暴露了地图快照过时、回答不一致等问题,凸显了将信息查询与 AI 电话服务相结合的必要性。
Contra Labs 与 BenchFlow 联合发布 Frontier Design Benchmark,一个基于真实客户设计需求、由专业设计师盲评的 AI 设计能力新榜单。神秘模型 Gestalt 登顶,超越 Claude、GPT-6.1 等主流模型,排名第二的则是人类设计师。
OpenAI 推出了 MedChemBench,一个包含 99 个药物化学推理问题的基准测试,用于检验 AI 模型将分子结构与实验证据关联起来的能力。GPT-6.2 Astra 以 84.5% 的得分领先,其次是 GPT-6 Astra(83.3%)、GPT-6.1 Sol(82.0%)和 GPT-5.6 Sol(58.2%)。
Contra Labs 和 BenchFlow 推出了 Frontier Design Benchmark(前沿设计基准测试),在基于专业设计师对真实客户设计需求进行盲评投票而构建的 Elo 排行榜上,两款隐身模型的排名均高于 Claude Fable 5.2。
Y Combinator 初创公司 Synthetic Sciences 推出了 FrontierML,这是一项基准测试,旨在检验 AI 智能体能否在目标隐藏、使用真实 GPU 并自行定义进度指标的条件下,自主开展机器学习研究——而参与测试的 5 个前沿模型中,没有任何一个在其 25 道问题中的任何一道上取得出色成绩。
作者认为,发现更高温的超导体——从目前约150K的纪录向常压下的室温超导(293K)迈进——将是一个理想的工程领域AI基准,同时能为人类带来重大福祉。
Artificial Analysis 智能指数 v5 因引入基于私有数据集的非公开测试而受到批评。这些测试似乎偏袒 GPT 和谷歌旗下的闭源模型,同时大幅拉低了 Kimi 3.1 Pro 和 DeepSeek 4.1 Flash 等中国开放权重模型的排名,而与此同时,谷歌的 Carbon 4 登上了该指数榜首。
Skyfall发布了其前沿工程模型Sky-001,声称其在速度上比Astra快100倍,成本低150倍。
谷歌的 Gemini 4 Argon 正式向付费开发者和企业用户开放,凭借 100 万 token 输出上下文窗口和更低的推理成本,在 Vals AI 的专业工作基准指数上超越 Claude Sonnet 5.5 和 Opus 5.5,位列第一。
马斯克转发了一条帖子,指出 AI 模型(他戏称为“超级智能”)如今已能轻松通过会计测试,而就在十八个月前,这类模型的表现还远低于会计师的平均约 37% 得分。
GPT-6.1 Sol 在 Humanity's Last Exam(Diamond)排行榜上位列第三,标志着前沿 AI 基准测试性能的一个重要里程碑。
文章介绍了Vending-Bench,这是一个旨在评估AI能否自主经营业务的AI基准测试,并附有arXiv上的相关研究链接。
斯坦福泄露的抗衰老人工智能基准评估了人工智能模型在衰老科学任务上的表现,显示了性能差距,并敦促人工智能公司优先考虑这一领域的医学研究。
本文报道了短篇小说创意写作基准测试的最新分数,显示了Opus 5.5、Grok 4.7和Gemini 3.8 Flash等AI模型的改进,排行榜涵盖了56个模型和超过100,000次评估判断。
本文介绍了一个基准测试,用于比较各种AI模型与工具组合在数学、视觉和编程等任务中的能力和速度,并列出了两个类别中的最佳表现者。
这条推文介绍了humanbench,一个用于评估AI模型以确定其模型大小和个性特征的基准测试工具。
一位工程师测试了14个AI模型,向它们展示了20个来自2026年的真实AI事件,且无网络访问权限,发现模型对这些事件的平均可能性评分仅为36%,凸显了其自我预测能力的显著差距。
Epoch AI 创建了家具组装基准(FAB),用于测试 AI 模型在 IKEA 组装照片中识别错误的视觉推理能力。OpenAI 的 GPT-6 Astra 以 80% 的准确率领先,显示出比以往模型的大幅改进。
GPT-6-Astra-Max 在 ARC-AGI-3 基准测试中在六个月内达到了 62.7%,并且使用记忆适配器后,基准测试已饱和,尽管成本仍然很高,这表明 AI 模型朝着更便宜的趋势发展。
在模拟商业挑战Vending Bench中,AI模型获得500美元和自动售货机运营一年。GPT-6 Sol实现14,428美元利润,以八分之一成本接近Astra的表现。