基于闲置 Apple 芯片设备构建的动态分布式虚拟 GPU 云

# Minions：基于闲置 Apple 芯片设备构建的动态分布式虚拟 GPU 云 来源：https://machinelearning.apple.com/research/distributed-gpu-cloud 作者：Jianhua Li、Yun Xing、Girisha De Silva、Ryan Flint、Kai Yuan、Sean Suchter 对 GPU 加速机器学习推理的需求日益增长，暴露了集中式 GPU 基础设施的局限，包括成本高、弹性有限，以及资源受限时等待时间长等问题。与此同时，搭载 Apple 芯片的现代 macOS 设备配备了强大的 GPU，但在日常使用中，这些 GPU 大部分时间处于闲置状态。本文介绍了 Minions，这是一个动态分布式虚拟 GPU 云，可汇聚多台 macOS 设备上的闲置 Apple 芯片 GPU，执行大规模机器学习推理工作负载。Minions 使团队能够利用现有硬件，无需额外采购 GPU。该系统支持灵活的 GPU 推理任务执行、容错和高效的资源利用。我们的实践表明，在集中式 GPU 资源受限的环境中，闲置的 macOS 设备可以转化为实用的分布式 GPU 推理平台。 ## 相关阅读与更新。 搭载 Apple 芯片的 Mac 在 AI 开发者和研究人员中日益受欢迎，他们希望使用自己的 Mac 试验最新的模型和技术。借助 MLX，用户可以在 Mac 上高效地探索和运行大语言模型（LLM）。它使研究人员能够在自己的硬件上试验新的推理或微调技术，或在私密环境中研究 AI 技术。MLX 适用于所有 Apple 芯片系统，而借助最新的…… 阅读更多 (https://machinelearning.apple.com/research/exploring-llms-mlx-m5) 加速 LLM 推理是机器学习研究中的一个重要问题，因为自回归式词元生成的计算成本高且速度相对较慢，而提高推理效率可以降低用户感受到的延迟。除了持续推进 Apple 芯片上的推理加速工作，我们最近还在加速 NVIDIA GPU 上的 LLM 推理方面取得了显著进展，这些 GPU 被广泛用于业界的生产应用…… 阅读更多 (https://machinelearning.apple.com/research/redrafter-nvidia-tensorrt-llm)