标签
一个 Hugging Face 仓库发布了据称泄露的、Anthropic 尚未发布的约 140 亿(14T)参数 Mythos 级模型(代号 "numbat",在 Claude Code 源码泄露中被提及)的预训练中期检查点,包含 772 个 safetensors 分片(约 7.72 TB)、完整的参考实现,以及在约 1.96M 步训练中进行到第 1.83M 步的训练日志。
本文证明,预训练的最终窗口显著影响模型对后训练对齐的响应,即使SFT性能完全相同也是如此,这表明检查点评估应包含最后训练的数据。