experiment-prediction

MLE-World：一个基于 Qwen3.5-4B 微调的世界模型，无需执行即可预测机器学习实验结果（错误堆栈、日志、验证分数），使 AI 研究智能体能够以低成本进行测试时扩展。它在 77.9% 的留出程序上与真实终端输出一致，并在 MLE-bench Lite 任务上将平均性能提升最高达 22.1%。

该论文构建了包含2882个LLM提出的ML实验想法的数据集，评估五个前沿大模型预测实验结果的准确性，发现最佳模型Claude Opus 5.5仅解释约一半方差（R²=0.49），且所有模型都系统性低估了变化幅度，表明当前LLM对ML想法的直觉有用但有限。