@IntologyAI：编码智能体能做研究吗？我们发布 NanoGPT-Bench，这是我们用来测试编码智能体在 AI 研发问题上的一项内部评估…

编码智能体能做研究吗？ 我们发布了 NanoGPT-Bench，这是我们针对一个需要数月人类工作进展的 AI 研发问题，用于测试编码智能体的内部评估工具。 Codex、Claude Code、Autoresearch 仅恢复了人类进展的 9.3%，主要集中在超参数调优，而忽略了算法研究。 NanoGPT-Bench 基于 NanoGPT Speedrun 构建，这是一项旨在最小化 GPT-2 风格模型训练时间的流行 LLM 预训练竞赛。现有的人类提交成果代表了近两年的工作。为了控制前沿模型的依赖和污染问题，我们将评估标准化为 5 个月的世界纪录窗口。评估是完全自主且端到端的，无需人工干预或互联网访问。