为什么没有一个社区项目来在消费级硬件上从头训练你自己的LLM?
摘要
关于缺乏一个社区项目来在消费级硬件(8GB显存)上使用BitNet和Muon等现代技术从头训练LLM的讨论,提议合作构建这样一个项目。
好吧,这件事困扰我有一阵子了。我们有Karpathy的nanoGPT/nanoChat,老实说很棒,我会推荐给任何人。但问题是:要真正跟着做并得到实际结果,你最终还是要租用云GPU。并不是每个人都愿意花80多美元在云计算上只是为了玩玩和学习。在我看来,这一道障碍就把大量好奇的人挡在了门外。那么为什么没有一个项目(甚至只是一个扎实的教程)围绕一条硬性规则来构建:**它必须在8GB显存上训练。没有云,没有租用的A100。**如果它无法装进普通的游戏显卡,那就不算数。理想是一个虽小但真实可用的模型,在类似维基百科数据转储上训练,并有完整的文章详细讲解整个流程。而我最想要的部分是:它应该使用人们一直热捧但很少整合成一个对新手友好的东西的那些现代技巧。比如:* BitNet / 低位训练以大幅降低内存占用 * Muon优化器代替普通的AdamW(据说计算效率提高约2倍且节省不少内存,听起来非常适合紧张的显存预算)* 激进量化以保持在8GB内 * 任何其他有助于将可训练模型塞进消费级硬件的技巧。基本上就是nanoGPT的风格,但加上严格的“必须在你的游戏PC上运行”的限制和现代技术栈,这样任何人都可以免费端到端地训练模型。所以我的问题是:1. 这是否已经存在而我只是没找到?如果是请给链接。2. 如果没有……有人想一起构建吗?
相似文章
你认为运行本地大型语言模型的专用硬件会很快变得平价吗?
讨论了运行本地大模型的平价专用硬件的可能性,考虑到中国制造商大规模生产低成本硬件的能力。
本地LLM CPU用户……你们做任何事情要花多长时间?
关于在CPU上本地运行大语言模型性能的讨论,特别是大上下文尺寸的情况,以及显存限制带来的挑战。
开源本地LLM训练工具(面向消费级硬件)
一个用于在消费级硬件上训练LLM的开源工具,具备实时神经可视化功能,可用于幻觉检测和模型自省,目前支持小规模模型。
本地大语言模型已不再民主...硬件门槛已失控。
作者认为,由于硬件成本高昂,运行本地大语言模型已变得难以企及,这与早期消费级GPU尚能胜任的情况形成鲜明对比,并对看似不再民主的访问权表达了不满。
既然大语言模型编码这么厉害……
讨论为何大语言模型未能帮助ROCm和英特尔的软件生态系统追上CUDA,并指出NVIDIA的高定价和真正市场竞争的必要性。