unsloth/Muse-Spark-Open-816B-A42B · Hugging Face

来源：https://huggingface.co/unsloth/Muse-Spark-Open-816B-A42B

Muse Spark Open 模型卡

作者：Meta Superintelligence Labs　　模型发布日期：2026 年 10 月　　许可证：Muse Model License

Muse Spark Open 是一个总参数 816B、激活参数 42B 的开放权重模型，上下文窗口为 1M tokens。该模型专为编程和智能体（agentic）任务构建，原生支持多模态。这个开放权重版本经过了额外的安全后训练，使其在没有系统防护措施的情况下作为独立模型运行时，对滥用行为更具鲁棒性。我们建议将 Muse Spark Open 作为更广泛 AI 系统的一部分进行部署，并针对具体用例配备额外的防护措施。

该模型可在多种用例中表现出色，包括：

1. 多步推理——在长时程范围内进行推理链条，在复杂、扩展的工作流中维持连贯的计划。
2. 端到端智能体任务完成——多步规划、顺序工具调用、故障恢复以及长时程任务执行，在脚手架框架内编写和调试代码，并从头到尾解决多轮请求。
3. 编码智能体——编写、调试和解决真实世界的软件工程任务。
4. 工具调用——在扩展的多轮工作流中调用工具，诊断错误并在工具调用失败时重试。
5. 多模态推理——解读截图、图表、文档、图像、音频和视频录制，结合对话处理智能体和信息密集型环境。
6. 合成数据生成——为下游模型开发生成高质量的训练数据。
7. LLM-as-a-judge 评估——作为其他模型输出的评估器。

Muse Spark Open 模型概览

语言模型

• 隐藏维度：8192
• Token Embedding：非绑定（untied）的输入/输出 embedding，vocab × dim = 202,048 × 8192 ≈ ~1.66B
• 输出层（unembedding 层）：vocab × dim = 202,048 × 8192 ≈ ~1.66B
• 层数：62
• 门控注意力（Gated Attention）：是（注意力块上带有输出门控和输出归一化；启用 QK-norm）　注意力头数：Q 为 128，KV 为 16（分组查询注意力）。头维度：64
• Mixture of Experts：是　专家数量：256　每个 token 激活的专家数：8（top-k 路由）

Perception Encoder

• 架构：1.8B 参数，50 层，隐藏维度 1536，16 个注意力头，14×14 patch size，输出维度 4096。使用学习的绝对位置编码 + 2D RoPE 进行位置嵌入，FFN 使用 LayerNorm + GELU。稀疏注意力，稀疏因子为 4（每 4 层 + 最后一层为全注意力）。

模型获取与最佳实践

通过 API 获取　该模型可通过第三方推理提供商的 API 使用。

在自有系统上使用开放权重　权重可通过 Hugging Face 下载。模型提供 BF16 和 NVFP4 两种版本。在自有系统上运行时，NVFP4 版本需要至少 700GB 显存的 GPU，BF16 版本需要 2TB。还需要推理部署框架——支持的框架包括 SGLang、vLLM、Hugging Face、TensorRT-LLM、Unsloth 和 Llama.cpp。该模型也针对两台配备 M5 Ultra 的 Mac Studio 使用 MLX 运行进行了优化。

有关如何部署和使用模型的更多信息，请参阅开发者文档。

推理参数　您可以自定义推理参数以在您的用例中获得最佳性能。

• Reasoning Effort：Reasoning Effort 控制模型在回复前的思考程度。通过 reasoning_effort 请求参数或 chat_template_kwargs={“reasoning_effort”: …} 设置，可选值为 low、medium、high 或 xhigh。默认值为 xhigh。对于复杂问题求解、编码和智能体任务，请使用 high 或 xhigh；对于更快、更短的回复，请使用 low 或 medium。其他任何值都将返回错误。
• 采样参数：大多数部署推荐以下设置：temperature = 1.0，top_p = 1.0，top_k = 禁用。

训练数据

训练数据包括文本、图像、音频和视频。数据来源包括公开资源、互联网抓取数据、第三方获取数据、Meta 产品和服务的衍生数据，以及由外部供应商网络和 Meta 人员生成、策划和增强的合成数据。数据策划方法包括清洗、处理、修改、去重和过滤等。

基准测试

我们将 Muse Spark Open 与其他具有相似规模和架构的领先开放权重模型进行了比较。对于 Muse Spark Open，我们在所有基准测试中均使用 xhigh reasoning effort，temperature = 1.0，top_p = 1.0，top_k = 禁用。

有关我们评估的更多详情，请参阅我们的报告。

安全与准备度

我们强烈建议将 Muse Spark Open 作为 AI 系统的一部分进行部署，并针对您的预期用例配备防护措施。这些系统级防护应在有用性和安全性之间取得平衡，并解决安全和安保风险，包括与外部工具集成所产生的风险。

Muse Spark Open 已在四个互补的安全领域进行了评估，并根据模型评估和残余风险评估，满足了我们的发布安全标准：

1. 内容安全：有害内容生成和拒答行为，以及回复质量和意识形态平衡。

2. 智能体风险：使用工具或代表用户执行操作时产生的有害或未经授权的行为，包括不安全的代码执行和编码智能体工作流中的破坏性修改。

3. 隐私：评估模型如何处理个人和敏感信息，包括代表用户操作时的不当披露和信息共享。

4. 准备度：根据 Meta Superintelligence Scaling Framework 评估化学和生物、网络安全及失控风险。

   1. 网络安全：我们使用自适应攻击者对模型进行了测试，攻击者以开发者查询 API 模型的方式查询模型，且无系统级安全防护。在我们的内部基准测试中，模型拒绝了 99.2% 的越狱攻击；在聚合 PolyGuard（网络安全子集）、RedCode 和 CyberBench 2024 的结果后，拒绝率为 94.8%。在相同设置下，Kimi K3 的拒绝率分别仅为 75.5% 和 70.2%。
   2. 化学和生物：在单轮和多轮基准测试中均表现出强烈的拒答行为，在 SecureBio 的 BioTIER 拒答基准上拒绝了超过 98% 的有害请求，在我们的内部单轮化学拒答基准上拒绝了超过 99%。在新开发的内部多轮智能体基准测试中，拒绝了超过 97% 的有害生物学请求和 98% 的有害化学请求。
   3. 失控：在我们的对齐性评估中，模型表现出较低的欺骗性或单方面有害行为倾向，在 MASK 基准测试上诚实率达到 98.1%，在 Agentic Misalignment 基准测试上的不当行为率为 0%。

这些评估表征了在测试条件下发布的检查点，并未涵盖所有下游配置或用例。下游修改可能会降低安全性，已发布检查点的结果不应被假定适用于经过修改的模型。

注意事项与局限性

Muse Spark Open 是一项带有已知和未知风险的技术。迄今为止进行的测试未能也不涵盖所有场景。Muse Spark Open 不得以任何违反适用法律法规（包括贸易合规法）的方式使用，也不得以 Muse Model License（包括使用政策）所禁止的任何其他方式使用。

局限性

1. 模型可能对用户提示产生不准确、有偏见或令人反感的回复。
2. 虽然针对智能体任务进行了优化，模型在多步推理中仍可能出错，尤其是在训练数据中未充分涵盖的新场景中。
3. 该模型未在预训练数据中包含的所有语言上进行评估。在强支持语言集之外的语言上，性能可能会下降。
4. 量化推理在边缘情况下可能与全精度推理存在轻微的质量差异。
5. 本模型不供 18 岁以下个人下载或使用。在部署到可能被 18 岁以下个人使用的系统中时，部署者有责任确保已全面评估和适当缓解与 18 岁以下个人使用相关的所有风险，并遵守所有适用法律法规。
6. 使用非常短或低分辨率的视频（几秒钟、约 100 px）时，模型有时可能回复无法查看该视频。请使用更长的片段或更高分辨率（短边 448 px 以上）以获得可靠的结果。

负责任使用　开发者应针对其具体应用和所用语言进行自己的安全测试和调优。我们的使用政策可在此处的 Muse Model License 中找到，其中提供了关于预期和非预期用途的更多信息。我们建议在将模型部署到可执行现实世界操作的智能体场景时，实施额外的防护措施（例如对不可逆操作采用人工确认）。

对于面向用户的应用，开发者应避免暴露原始思维链（chain-of-thought），并对任何推理摘要应用适当的安全检查。开发者还应保护内部助手消息免受用户操纵，并使用分层防护措施抵御越狱攻击和其他对抗性输入。

**有关模型的问题或意见反馈渠道：**请通过 https://huggingface.co/meta-models 的 Hugging Face 页面或发送电子邮件至 [email protected] 提供有关模型的任何反馈、意见或错误报告。有关生成参数和在应用中使用 Muse Spark Open 的详细技术信息，请参阅开发者文档。