Apple的512GB M5 Ultra几乎可以在本地运行所有主要的开放权重模型

Reddit r/ArtificialInteligence 产品
apple m5-ultra local-ai large-language-models hardware unified-memory

摘要

Apple的M5 Ultra芯片拥有512GB统一内存，能够在本地运行大型开放权重AI模型，从多GPU系统转向单台桌面机。

Apple新M5 Ultra最有趣的地方并不在于通常的“更快AI”说法，而在于它在单台桌面机中拥有多达512GB的统一内存，带宽达1.2TB/s。能装进这块内存的规模有点不可思议。单台Mac Studio就能以可量化的精度加载如DeepSeek R1 671B、Kimi K2.6 1T和DeepSeek V4 Flash等模型。这些模型通常我们只会联想到成排的GPU，而不是放在某人桌下的紧凑机器。这可能不会改变普通人使用ChatGPT的方式。但对于研究人员、开发者和公司来说，它可能很重要，因为他们想要强大的AI，而不必将私有数据上传到别人的服务器或为每个令牌付费。有趣的变化是，自托管大型模型不再自动意味着要构建和维护复杂的多GPU系统。与此同时，M6 Mac mini最高只有32GB，尽管其AI硬件更快，但仍属于紧凑型模型类别。本地AI硬件似乎正在分裂成两类：运行日益强大小型模型的经济型系统，以及将以前服务器级模型带入单个盒子的高内存工作站。M5 Ultra模型兼容性：https://canitrun.dev/gpus/m5-ultra/ Apple Silicon M1–M6本地LLM指南：https://canitrun.dev/guides/apple-silicon-llm-guide/
查看原文

相似文章