model-checkpoint

标签

Cards List
#model-checkpoint

burner22/numbat

Hugging Face Models Trending ↗ · 2026-10-23 缓存

一个 Hugging Face 仓库发布了据称泄露的、Anthropic 尚未发布的约 140 亿(14T)参数 Mythos 级模型(代号 "numbat",在 Claude Code 源码泄露中被提及)的预训练中期检查点,包含 772 个 safetensors 分片(约 7.72 TB)、完整的参考实现,以及在约 1.96M 步训练中进行到第 1.83M 步的训练日志。

0 人收藏 0 人点赞
#model-checkpoint

相似模型学习方式不同:最终窗口预训练塑造超越SFT的后训练效果

arXiv cs.AI ↗ · 2026-07-29 缓存

本文证明,预训练的最终窗口显著影响模型对后训练对齐的响应,即使SFT性能完全相同也是如此,这表明检查点评估应包含最后训练的数据。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈