@Lyubh22：编程基准测试正在趋于饱和。AI4Research 是下一个前沿领域。很高兴看到我们的 MLS-Bench（https://mls-bench.co…）

X AI KOLs Timeline 2026/08/03 08:05 论文

benchmark ai4research machine-learning evaluation research-agents

摘要

正式发布 MLS-Bench，这是首个获得社区广泛采用的 AI4Research 基准测试，它在 12 个领域的 140 个可执行任务上测试 AI 智能体，以提出模块化的机器学习改进方案。该帖子还包含 Claude Opus 4.6 和 GPT-5.4 等模型的排行榜分数。

编程基准测试正在趋于饱和。AI4Research 是下一个前沿领域。很高兴看到我们的 MLS-Bench（https://t.co/yExIXjAjkv）成为首个获得社区广泛认可和采用的 AI4Research 基准测试。祝贺团队！https://t.co/KCkBsP4j2s

查看原文

查看缓存全文

缓存时间: 2026/08/03 11:39

编程基准正在趋于饱和。AI4Research 是下一个前沿。

很高兴看到我们的 MLS-Bench (https://t.co/yExIXjAjkv) 成为首个获得社区广泛认可和采用的 AI4Research 基准。祝贺团队！https://t.co/KCkBsP4j2s

MLS-Bench：对构建更好 AI 的 AI 系统进行的全面且严谨的评估

Source: https://mls-bench.com/

每个任务都围绕一个定义明确的研究问题展开，要求智能体提出一个单一的模块化改进——新的损失函数、注意力变体、采样器或路由规则——然后衡量该改动是否能跨模型、数据集和随机种子迁移。

140 个可执行任务，涵盖 12 个领域，每个任务都围绕一个目标 ML 组件、一个受控的编辑面以及多设置迁移证据构建。

在官方 30 个任务的 Lite 子集上，跨测试框架和努力程度的得分。

每个模型的条形图显示：Vanilla 为较暗的下部，Agent 为较浅的叠加部分，并以半透明灰色 Human SOTA 参考线作为对照，该参考线由复现的人类基线计算得出。分数采用论文中的归一化任务指标。

Claude Opus 4.6 GPT-5.4 Gemini 3.1 Pro DeepSeek-V3.2 Qwen 3.6 Plus Vanilla Agent Human SOTA

140 个任务，涵盖 12 个扁平类别。打开一个类别即可浏览其任务。