感谢 Meta 开放模型权重,但我们之中有多少人真能在本地运行 Muse Spark Open?

Reddit r/ArtificialInteligence 模型

摘要

Meta 发布了 Muse Spark Open,这是一款拥有 8160 亿参数(激活参数为 420 亿)、支持 100 万 token 上下文的开放权重多模态智能体模型,但作者认为其营销具有误导性,因为在本地运行该模型所需的硬件成本高达数万美元,因此对大多数用户而言,通过 API 访问才是现实的选择。

Meta 今天发布了 Muse Spark Open,这是一款拥有 8160 亿参数(激活参数为 420 亿)、100 万 token 上下文窗口,支持文本、图像、视频和音频输入的开放权重智能体模型。它的 4 位 NVFP4 权重约为 537GB,完整的 BF16 权重约为 1.65TB。Meta 使用四张或八张 B300 来部署它。我真的很感谢 Meta 开放权重,让我们能够在本地运行它,但拜托,这营销话术就是胡扯。他们的公告把两台各配备 512GB 内存的 Mac Studio 称为“在自己的桌面上运行强大模型的最佳方式”,还说这两台机器“如同一台拥有 1TB 统一内存的超级计算机”。我们当中究竟有多少人拥有或者买得起这样的配置?512GB 的 Mac Studio 甚至还没开卖(要等到 10 月下旬),价格也没公布。你今天能买到的配置是四台 256GB 的 Mac Studio,总价约 3.8 万美元。其他任何能以较高精度的量化版本运行它的配置,至少也要花上几万美元,所以看来,这又是一个你得付费调用 API,或者租些 GPU 才能运行的模型。再说一次,开放权重是件好事,但我认为这种营销有误导性。Meta 的公告:https://research.meta.ai/blog/muse-spark-open 我为此写了一篇博文,介绍了在 Mac、迷你 PC、RTX 5090 或 CPU 服务器上运行它需要什么配置,以及每种配置的成本,文章在这里:https://www.anchorterminal.com/blog/run-muse-spark-open-locally
查看原文

相似文章

@levie:他们做到了。他们发布了 Muse 开源权重模型,这是美国开源软件领域的巨大进步。这将进一步……

X AI KOLs Timeline

Aaron Levie 庆祝 Meta 发布 Muse 开源权重模型,称这是美国开源 AI 的重大进步,将使企业能够混合搭配前沿模型和自定义后训练模型,从而推动整个技术栈的 token 消耗增长。引用的帖子详细介绍了 Muse Spark Open,称其为美国能力最强的开源权重模型,拥有 816B 总参数/42B 激活参数、100 万 token 上下文窗口、原生多模态以及智能体编码能力。

Meta 推出可在 Mac 上运行的开放权重 AI 模型

TechCrunch AI

Meta 发布了号称美国最强的开源权重模型 Muse Spark Open,拥有 8160 亿参数和 100 万 token 上下文窗口,专为在 Mac 上本地运行设计(至少需 1TB 内存)。该模型原生多模态,面向复杂编码与智能体任务,并已通过 API 平台开放使用。

Muse Spark Open

Hacker News Top

Meta 发布 Muse Spark Open,宣称是美国最强开源权重模型:总参数 816B(激活 42B)、1M token 上下文、原生多模态,面向编码与智能体任务,且首次可在两台 Apple M5 Ultra Mac Studio 桌面端本地运行。

meta-models/Muse-Spark-Open-816B-A42B-NVFP4

Hugging Face Models Trending

Meta 在 Hugging Face 上以 Muse Model License 开源发布了 Muse-Spark-Open-816B-A42B-NVFP4。该许可证为开放权重许可证,允许使用、微调和创建衍生模型,但收入门槛为 2000 万美元,超过此门槛的模型即服务(Model-as-a-Service)产品需另行签署协议。

Unsloth Muse Spark Open 发布!

Reddit r/LocalLLaMA

Meta 发布了开源权重的 Muse Spark Open 模型,这是一个 816B 总参数 / 42B 激活参数的混合专家(MoE)模型,拥有 1M token 上下文窗口,原生支持多模态输入,面向编码与智能体任务,并由 Unsloth 提供运行支持。