标签
GuppyLM 是一个约 900 万参数的小型语言模型,可在单个 Colab 笔记本上用 5 分钟从零训练完成,模拟一条叫 Guppy 的鱼说话,旨在证明自训语言模型并非玄学、人人可上手。
YOON1v 发布了 Apex-2,一个从零训练的 decoder-only 混合专家(MoE)大语言模型,总参数 3.87B / 激活参数 1.45B,使用 86.5B tokens 进行预训练并做了 SFT 微调,完整的代码、架构详解和基准测试结果(HumanEval 43.9)已在 Hugging Face 和 GitHub 上公开。