标签
Omar分享了Jeff Dean的推介文稿,重点介绍了科学与工程领域的开放问题,指出人工智能用于科学才刚刚起步,而dair_ai正在这一领域进行建设。
本文介绍了OpenMLE,一个用于研究机器学习工程中递归自我改进的开放全栈系统,并提出了Frontis-MA1,一个经过后训练作为元进化智能体的35B模型。它在MLE-BenchLite上相比其基础模型有显著提升,并能迁移到留出基准上,同时发布了权重和代码。
Matryoshka Agent 是一个层次化代理框架,它将长期机器学习工程任务分解为高级编排器和低级子代理,实现高效探索和迭代优化。它在复杂的 MLE 任务上显著提升性能,使 4B 模型匹配 o4-mini 的编排能力,并在 30B 编码器模型上带来高达 36.7% 的相对收益。
# MLE-bench:评估机器学习代理在机器学习工程中的表现 来源:[https://openai.com/index/mle-bench/](https://openai.com/index/mle-bench/) OpenAI 评估机器学习代理在机器学习工程中的表现 我们推出了 MLE-bench,这是一个用于衡量 AI 代理在机器学习工程中表现如何的基准。为此,我们从 Kaggle 精选了 75 个与 ML 工程相关的竞赛,创建了一个多样化的具有挑战性的任务集合,用于测试真实的 ML 工程