MiniMaxAI/MiniMax-M3 · Hugging Face

来源：https://huggingface.co/MiniMaxAI/MiniMax-M3 MiniMax

MiniMax Agent (https://agent.minimax.io/)API (https://platform.minimax.io/docs/guides/text-generation)MiniMax 官网 (https://www.minimax.io/)微信 (https://platform.minimaxi.com/docs/faq/contact-us)Discord (https://discord.com/invite/DPC4AHFCBw)Hugging Face (https://huggingface.co/MiniMaxAI)GitHub (https://github.com/MiniMax-AI/MiniMax-M3)arXiv 论文 (https://arxiv.org/abs/2606.13392)许可协议 (https://huggingface.co/MiniMaxAI/MiniMax-M3/blob/main/LICENSE)

MiniMax-M3 是一款原生多模态模型，支持 100 万上下文。该模型约有 428B 参数，激活参数约为 23B。

核心亮点：

• **原生多模态：**M3 从训练之初就采用混合模态训练方式，实现了文本、图像和视频之间更深层的语义融合。
• **通过稀疏注意力实现上下文扩展：**M3 引入了 MiniMax 稀疏注意力（MSA），以提升长上下文处理效率。与 M2 相比，M3 在 100 万上下文场景下，预填充速度提升 9 倍，解码速度提升 15 倍，每个词元的计算量降至原来的 1/20。
• **编码与协作能力：**M3 在各类长周期智能体基准测试中均达到前沿水平，在编码和协作方面表现尤为突出。

MiniMax 稀疏注意力（MSA）

M3 由 MiniMax 稀疏注意力（MSA） (https://github.com/MiniMax-AI/MSA) 驱动，这是一种专为百万词元上下文设计的高性能稀疏注意力算子。与 GQA 相比，MSA 在保证模型质量的同时，大幅减少了注意力计算量和内存占用。

GQA 与 MSA 效率对比

📄 阅读技术报告：arXiv:2606.13392 (https://arxiv.org/abs/2606.13392) · Hugging Face Papers (https://huggingface.co/papers/2606.13392)

如何使用

• MiniMax Agent (https://agent.minimax.io/)
• MiniMax API (https://platform.minimax.io/)

M3 支持两种推理模式：

• 思考——适用于复杂推理、智能体任务及长周期协作。
• 非思考——适用于对延迟敏感的场景，如聊天和代码补全。

本地部署

下载模型：

hf download MiniMaxAI/MiniMax-M3 --local-dir MiniMax-M3

我们推荐使用以下推理框架（按字母顺序排列）来部署该模型：

• SGLang (https://docs.sglang.io/)——请参阅 SGLang cookbook (https://docs.sglang.io/cookbook/autoregressive/MiniMax/MiniMax-M3) 。
• vLLM (https://github.com/vllm-project/vllm)——请参阅 vLLM recipes (https://recipes.vllm.ai/MiniMaxAI/MiniMax-M3) 。
• Transformers (https://github.com/huggingface/transformers)——请参阅 Transformers 文档 (https://huggingface.co/docs/transformers/model_doc/minimax_m3_vl) 。

推理参数

为获得最佳性能，我们推荐以下参数设置：temperature=1.0，top_p=0.95，top_k=40。

联系我们

请通过 [email protected] 与我们联系。