MLE-bench：评估机器学习代理在机器学习工程中的表现

OpenAI Blog 论文
benchmark ai-agents machine-learning-engineering evaluation kaggle llm

摘要

# MLE-bench：评估机器学习代理在机器学习工程中的表现 来源：[https://openai.com/index/mle-bench/](https://openai.com/index/mle-bench/) OpenAI 评估机器学习代理在机器学习工程中的表现 我们推出了 MLE-bench，这是一个用于衡量 AI 代理在机器学习工程中表现如何的基准。为此，我们从 Kaggle 精选了 75 个与 ML 工程相关的竞赛，创建了一个多样化的具有挑战性的任务集合，用于测试真实的 ML 工程

我们推出了 MLE-bench，这是一个用于衡量 AI 代理在机器学习工程中表现如何的基准。
查看原文
查看缓存全文

缓存时间: 2026/04/20 14:57

# MLE-bench：评估机器学习代理在机器学习工程中的表现 来源：https://openai.com/index/mle-bench/ OpenAI 机器学习代理在机器学习工程中的表现评估 我们介绍 MLE-bench，这是一个用于衡量 AI 代理在机器学习工程方面表现的基准。为此，我们从 Kaggle 精选了 75 个与机器学习工程相关的竞赛，创建了一个多样化的具有挑战性的任务集，测试真实的机器学习工程技能，如训练模型、准备数据集和运行实验。我们使用 Kaggle 公开可用的排行榜为每场竞赛建立人类基准。我们使用开源代理脚手架来评估多个前沿语言模型在我们的基准上的表现，发现表现最好的设置——配备 AIDE 脚手架的 OpenAI o1-preview——在 16.9% 的竞赛中达到至少 Kaggle 铜牌水平。除了主要结果外，我们还研究了 AI 代理的各种资源扩展形式以及预训练污染的影响。我们开源了基准代码（https://github.com/openai/mle-bench/）以促进对 AI 代理机器学习工程能力的进一步研究。

相似文章

InferenceBench：面向AI代理的开放式LLM推理优化基准测试

arXiv cs.AI

InferenceBench是一个基准测试，用于评估AI代理在多个瓶颈场景下使用H100 GPU优化LLM推理速度的表现。结果显示，代理虽然优于简单基线，但常常收敛于单一框架，且性能不及简单的超参数搜索，表明需要更好的探索策略。

空中MLLM智能体的零样本任务级评估

arXiv cs.CL

MissionBench是一个新的基准测试，用于评估多模态大语言模型（MLLMs）在三维空中环境中执行长期具身任务的表现。结果显示，即使是表现最好的模型，其任务成功率也不到35%，而人类的表现达到84.4%。