scratch-pretrained

Sumi 是一个 7B 参数的均匀扩散语言模型，在 1.5T token 上从头预训练，在知识和推理任务上取得了有竞争力的性能，同时完全开源，发布了模型权重和训练方案。