from-scratch-training

标签

Cards List
#from-scratch-training

@bkdgiffug: 在不少人印象里,训练语言模型得先有博士文凭,外加一摞 GPU 才够格,这看法其实早该更新了。 偏有人只花五分钟、开一个 Colab 笔记本,就从零跑出个九百万参数的模型,取名 GuppyLM。 设定挺有意思——一条叫 Guppy 的鱼,开…

X AI KOLs Following ↗ · 2026-10-29 缓存

GuppyLM 是一个约 900 万参数的小型语言模型,可在单个 Colab 笔记本上用 5 分钟从零训练完成,模拟一条叫 Guppy 的鱼说话,旨在证明自训语言模型并非玄学、人人可上手。

0 人收藏 0 人点赞
#from-scratch-training

我仅用 86.5B tokens 从零训练了一个 3.87B 参数的 MoE 模型(激活参数 1.45B)

Reddit r/LocalLLaMA ↗ · 2026-10-04 缓存

YOON1v 发布了 Apex-2,一个从零训练的 decoder-only 混合专家(MoE)大语言模型,总参数 3.87B / 激活参数 1.45B,使用 86.5B tokens 进行预训练并做了 SFT 微调,完整的代码、架构详解和基准测试结果(HumanEval 43.9)已在 Hugging Face 和 GitHub 上公开。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈