从零开始在8GB显存上训练LLM。我开心

Reddit r/LocalLLaMA 工具
training 8gb-vram tiny-model open-source from-scratch community-project

摘要

构建了一个仓库，用于在8GB显存上从零训练一个微型语言模型（25M参数），支持MTP，但指出mHC和BitNet的局限性。

我昨天发了个帖子：[https://www.reddit.com/r/LocalLLaMA/comments/1tqjuzg/why\_is\_there\_no\_community\_project\_for\_training/](https://www.reddit.com/r/LocalLLaMA/comments/1tqjuzg/why_is_there_no_community_project_for_training/) 我今天写了个程序：[https://github.com/epoyraz/train-a-model-from-scratch](https://github.com/epoyraz/train-a-model-from-scratch) 亮点：\- 用8GB显存从零训练tinystories。耶 \- mHC不好（模型太小） \- BitNet太慢（训练时没有内存增益） \- TurboQuant（不需要） \- MTP可行。耶耶耶（但让训练变慢） 嗯……这不是LLM，是个25M的小模型：[https://huggingface.co/epoyraz/tinystories-25m](https://huggingface.co/epoyraz/tinystories-25m)
查看原文

相似文章

基于1800年代文本从头训练LLM（160GB数据集）

Reddit r/LocalLLaMA

作者详细介绍了使用160GB的1800年代英语文本从头训练LLM的过程，训练了一个5亿参数的评估模型，并计划训练一个20亿参数的模型，结果显示在历史问答方面有不错的前景。