AntLing 已开源 6 个基础模型检查点，涵盖预训练、中期训练和 WSM 合并阶段，适用于 Ling-3.0-tiny 和 Ling-3.0-flash。

Reddit r/LocalLLaMA 模型
open-source base-model fine-tuning pre-training wsm-merging llm research

摘要

AntLing 已为 Ling-3.0-tiny 和 Ling-3.0-flash 开源六个基础模型检查点，涵盖预训练、中期训练和 WSM 合并阶段，为研究人员提供灵活的起点，并突出 WSM 和共享训练配方。

这些检查点都没有经过后训练，为研究人员提供了继续预训练、微调和进一步研究的灵活起点。两个关键亮点： - 他们使用 WSM 通过加权检查点合并来替代学习率衰减，使训练过程更适合持续预训练，同时能够离线探索不同的学习率衰减策略。 - 通过一个共享训练配方，社区可以在 tiny-base 上验证策略，然后扩展到 flash-base。 #1- Ling-3.0-tiny-base: 总参数 7.9B | 活跃参数 1.3B。尽管总参数只有 Ling-2.5-mini-base 的一半，Ling-3.0-tiny-base 在大多数基准测试中表现出相当或更优的性能，特别是在编码方面。适用于代码预训练/SFT、强化学习后训练、教学、模型行为与 MoE 研究。 https://preview.redd.it/8edbwdc6tckh1.png?width=900&format=png&auto=webp&s=21de82bdad283fc897e9753ce6bef753e69818f9 #2- Ling-3.0-flash-base: 总参数 124B | 活跃参数 5.1B。在评估中，Ling-3.0-flash-base 在编码、推理和长上下文任务中都取得了强劲的性能，即使与大两到三倍的模型相比也是如此。这使其非常适合编码、长时序工作流、金融、医疗保健和其他专业应用中的持续预训练、后训练和领域适应。 https://preview.redd.it/q3kueuj9tckh1.png?width=1199&format=png&auto=webp&s=1d8e27d09068fb200a82b57ecf6bef10260c967e
查看原文

相似文章

Ling 3.0 闪存/微型基础模型

Reddit r/LocalLLaMA

InclusionAI 已开源 Ling-3.0 系列，该系列具有高效的语言模型，采用稀疏 MoE 架构和混合线性注意力，提供不同训练阶段的检查点，以支持研究和创新。