将树莓派集群用于学习分布式训练/推理
摘要
一篇博客文章指导读者如何搭建树莓派集群进行分布式训练和推理，这是系列教程的一部分，旨在利用实惠的硬件让分布式AI变得可及。
大家好！最近，我发布了一篇关于如何使用 Mac Mini 搭建集群进行分布式训练和推理的博客。现在，轮到树莓派了！为什么选择树莓派？
- 非常便宜（30-50 美元）
- 易于使用
- 完整的操作系统，只有信用卡大小（足够小巧，适合边缘项目）！
这是我当前系列的一部分，我会发布关于学习分布式学习和构建自己小型计算集群的博客和指南。目标很简单：帮助更多人使用手头已有的硬件（旧笔记本电脑、MacBook、Mac Mini、Jetson Nano、树莓派，甚至手机和平板）来运行和训练 AI 模型。分布式学习从外部看常常让人望而生畏，但一旦你亲自尝试，它绝对是系统和 AI 领域最酷的方向之一。
在我们进入分布式推理和训练等有趣内容之前，前几篇文章将重点放在正确设置硬件和构建可工作的集群环境上，基本上就是一些布线 and 网络配置！早期的指南会特别涵盖以下设备的设置：
* MacBook 和 Mac Mini（已完成！）
* Jetson 设备
* 树莓派（就是这篇啦）
之后，我们会进入快速演示（smolcluster），并在实际操作中逐步学习基础知识，同时在设备上运行模型。我正在与 smolcluster 一起构建这些内容，因此大部分内容会保持动手实践性，而不是纯粹的理论。希望这能帮助更多人意识到，分布式 AI 系统不再只是大型数据中心才能拥有的东西。
我只有一个问题想回答：像上面我尝试构建的异构集群，是否真的能用于运行模型？好吧，我们会知道的，在那之前，请阅读我的博客并告诉我你们的想法！任何评论、反馈都非常欢迎。（请温柔一点，因为这是我第一次独自写博客哈哈）
[博客](https://www.smolhub.com/posts/raspberry-pi-cluster-setup-guide)
致敬 LocalAI！
PS：所有内容仅供教育目的，并不旨在获得与专用 GPU 相媲美的性能……好吧，至少我还没找到办法。请使用这些指南和信息来学习分布式学习的基础知识！谢谢
相似文章
集群三台Jetson Nano Orin Super
作者宣布了一篇新的博客文章，内容是关于将三台Jetson Nano Orin Super组成集群，用于分布式训练和推理，延续了一个系列，旨在帮助人们使用易于获取的硬件构建小型计算集群。
用Pi构建Pi
一篇反思性文章，探讨使用AI代理（Pi）构建Pi开源项目时遇到的挑战，重点分析了大量低质量AI生成的问题报告如何误导人类维护者和AI本身。
在树莓派上使用Hailo进行物体检测的Frigate设置
这篇博客文章详细介绍了如何在树莓派上使用Hailo AI协处理器设置Frigate进行物体检测，包括修复PCIe描述符页面大小错误的步骤。该设置可与更便宜的Hailo-8L配合使用，并实现低推理时间。
SBC集群性价比极低，但玩起来很有趣
对DeskPi Super4C（一款四节点树莓派CM5集群板）的评测，着重介绍了其改进的远程管理和冗余电源/以太网，同时指出SBC集群性价比不高，但对于爱好者进行HPC折腾来说却很有趣。
推理的变革（阅读时长约 8 分钟）
本文分析了 Cerebras 即将进行的 IPO，将其视为 AI 硬件领域“推理变革”的信号。文章指出，尽管 Nvidia 在基于 GPU 的训练领域占据主导地位，但为了支持推理工作负载，AI 算力的未来正变得越来越异构。