nanoGPT

论文发现了“分叉”（forking）现象，这是 NanoGPT 自动研究中出现的一种泛化失败：当具有过度编码 n-gram 记忆的模型在数据重放训练下，训练损失与验证损失在 epoch 边界处急剧分化。文章从机理上解释了该现象，并提醒人们注意自动研究智能体产出的技术可能带来的意外副作用。

IntologyAI 发布了 NanoGPT-Bench，这是一个用于评估编码智能体在 AI 研发任务上表现的内部基准。当前的智能体仅恢复了人类进展的 9.3%，主要通过超参数调优，凸显了算法研究能力方面的差距。