联合所有GPU来训练一个社区模型

Reddit r/LocalLLaMA 新闻
distributed-training community-model volunteer-computing gpu-pooling ai-training

摘要

关于从社区汇集GPU以训练大规模AI模型的讨论，质疑其可行性以及现有项目，尽管存在已知瓶颈如延迟和权重中毒。

这个子社区拥有惊人的集体显存量。为什么我们不汇集GPU来训练一个庞大的社区模型？目前是否有活跃的分布式志愿计算项目实际在做这件事？我知道瓶颈（延迟、权重中毒、节点断开），有没有人成功完成过社区训练？还是说延迟瓶颈太严重了？
查看原文

相似文章

进来参与：社区模型构建讨论帖

Reddit r/LocalLLaMA

一个帖子提出了一种通过众包计算创建社区AI模型的方法，利用Branch-Train-Stitch技术将独立训练的子模型组装成混合专家（MoE）模型，并讨论了硬件要求、参与者参与方式和技术挑战。

AI训练能否像比特币挖矿那样去中心化？[D]

Reddit r/MachineLearning

本文探讨了AI训练能否像比特币挖矿那样去中心化，参与者贡献GPU资源训练开源模型以换取代币，并引发了关于验证、虚假梯度和效率等问题的讨论。