LocalLLaMA 众包编程数据集
摘要
一位社区成员提议为本地大语言模型创建一个众包编程数据集,以实现协作模型训练和微调,并回应了关于未来开源权重模型可用性的担忧。
我觉得这个社区的很多人(包括我自己)一直在急切地等待新小模型的发布,或现有模型的改进等等。有时候我希望能有更多社区发布的模型(就像有时会有社区发布的测试工具、前端或量化版本一样)。不幸的是,从头训练一个新模型是一项艰巨的任务,我们根本不具备相应的专业知识或资源。不过,还有另一种选择——任何人,无论使用什么硬件,都可以为数据集做出贡献。如果我们(或许还有其他社区)合作创建一个合适的数据集,并且拥有更强硬件的人愿意自愿进行微调和/或量化模型,那么我们就可以在家制作自己的'Qwen3.7-27B'。显然事情没那么简单,这里有很多需要考虑的地方。诸如提交质量、一致性等问题将是创建良好可用数据集需要克服的障碍。这绝对是一个巨大的挑战。但我认为,考虑到最近发生的事件,我们或许应该开始考虑做些这样的事情。如果有朝一日公司停止发布开源权重模型(如今这种可能性越来越大),如果我们有更多方法可以自己继续推进本地大语言模型的发展,而不是被迫停滞不前,我们的处境会好得多。如果有人对如何实现这一点有想法,无论是后勤方面还是其他方面,请告诉我。我认为这是能够真正惠及社区的事情。
相似文章
@tom_doerr: 本地LLM工具和硬件精选列表 https://github.com/0xSojalSec/LLMs-local…
一份精选列表,包含用于本地运行大语言模型的平台、工具、模型、硬件和资源,托管在GitHub上。
Cohere的未发布编码模型(localllama早期访问)
Cohere发布了一款早期访问编码模型BLS-Mini-Code-1.0,这是一个30B参数的模型,可在Hugging Face上进行测试。
迈向LLM的下一个前沿:私有数据训练——联邦微调的跨域基准
本文提出了一个在私有数据上对大型语言模型进行联邦微调的跨域基准,评估了LoRA、QLoRA和IA3策略在医疗和金融数据集上的表现。结果表明,联邦微调接近集中式训练的性能,并优于孤立学习,证明了在数据无法共享时通过联邦微调适配LLM的可行性。
从零开始开发开源大语言模型:从预训练到RLHF(PPO/GRPO)
一位开发者分享了从零开始训练一个70亿参数开源大语言模型的进展,该模型基于DeepSeek架构并针对低显存进行了优化,目标是推动AI开发的民主化,并最终超越大型专有模型。
开源LLM基准测试每4小时运行147个编码任务,采用5次试验中位数及95%置信区间,并使用CUSUM进行变点检测。好奇大家对这种方法的看法。
一个包含147个编码任务的开源LLM基准测试每4小时运行一次,采用5次试验中位数及95%置信区间,并使用CUSUM进行变点检测,引发了对其方法的讨论。