MiniMax-Music3 发布！

Reddit r/LocalLLaMA 2026/08/13 17:14 模型

摘要

MiniMax 发布 Music 3，一款高性能音乐生成模型，可根据歌词和详细描述生成最长五分钟的完整歌曲，配备 8B 全局大语言模型和 0.6B 局部大语言模型，以实现长程连贯性和声学细节。

暂无内容

查看原文

查看缓存全文

缓存时间: 2026/08/13 17:27

MiniMaxAI/MiniMax-Music3 · Hugging Face

来源：https://huggingface.co/MiniMaxAI/MiniMax-Music3 MiniMax

MiniMax Agent (https://agent.minimax.io/)API (https://platform.minimax.io/docs/guides/text-generation)MiniMax 官网 (https://www.minimax.io/) ModelScope MiniMax AI (https://modelscope.cn/organization/minimax)微信公众号 (https://platform.minimaxi.com/docs/faq/contact-us)Discord (https://discord.com/invite/DPC4AHFCBw)Hugging Face (https://huggingface.co/MiniMaxAI)GitHub (https://github.com/MiniMax-AI/MiniMax-Music3)许可证 (https://huggingface.co/MiniMaxAI/MiniMax-Music3/blob/main/LICENSE)

MiniMax Music 3

MiniMax Music 3 是一个高性能音乐生成模型，可创作长达五分钟的完整歌曲。在以歌词和详细音乐描述为条件的情况下，它能够生成结构连贯的歌曲，具有富有表现力的人声、不断演进的编曲以及稳定的长篇幅音频质量。

MiniMax Music 3 结合了一个用于长程音乐结构的8B 全局大语言模型（Global LLM）、一个用于帧级声学细节的0.6B 局部大语言模型（Local LLM），以及一个基于Flow Matching和Flow-VAE的连续隐状态合成系统。该模型输出 32 kHz、16 位立体声 WAV 音频。

Demo 演示

浏览音乐生成示例，请访问 MiniMax Music 3 Demo。

完整歌曲与长程连贯性

MiniMax Music 3 原生支持生成最长五分钟的完整歌曲。模型能够在长序列中保持音乐主题、节奏、人声特质和编曲推进，从而支持完整的歌曲结构，如引子、主歌、预副歌、副歌、桥段、器乐间奏和尾声。

细粒度音乐控制

该模型接受两种互补的输入：

歌词定义演唱的文字，并可包含明确的段落标签，如 [Intro]、[Verse]、[Pre-Chorus]、[Chorus]、[Post-Chorus]、[Bridge]、[Instrumental]、[Solo] 和 [Outro]。
音乐描述 定义音乐风格、情感走向、人声表现、乐器编配、编曲和制作风格。

为了实现精确控制，我们建议使用包含三个部分的结构化描述（Structured Caption）：

全局元数据：流派、子流派、BPM、调性、音阶、情感走向、聆听场景和制作风格。
人声细节：人声性别、音色、演唱风格、和声、伴唱和人声效果。
编曲：主要和次要乐器、段落级别的乐器演变、律动、贝斯、打击乐、织体和空间效果。

这种表示方式使模型不仅能遵循全局风格，还能跟随歌曲随时间的音乐发展。

混合大语言模型（Hybrid-LM）

MiniMax Music 3 采用分层自回归架构，将全局音乐建模与局部声学建模分离。

全局大语言模型（8B） 逐帧预测第一个 RVQ 码本，并对歌曲的长程语义和结构演进进行建模。
局部大语言模型（0.6B） 预测每个帧内的其余声学码本，并恢复细粒度的声学信息。

全局大语言模型以 Qwen3-8B 初始化。在训练过程中，其嵌入层和输出层首先适配语义音乐令牌。然后，全局和局部大语言模型联合训练，对所有 RVQ 码本进行建模。

连续隐状态合成

合成模块并非仅从离散的 RVQ 令牌解码，而是融合全局和局部大语言模型的最终隐状态。这些连续表示保留了更丰富的声学信息，用于人声咬字、乐器质感和时间连续性。

合成路径如下：

全局和局部大语言模型隐状态
                ↓
       隐状态融合
                ↓
     Flow Matching（2.4B）
                ↓
        Flow-VAE 潜变量
                ↓
    Flow-VAE 解码器（123M）
                ↓
       32 kHz 立体声音频

Flow-VAE 架构改编自 MiniMax Speech，并针对音乐的动态范围和频谱特性进行了重新训练。

音乐分词器（Music Tokenizer）

训练分词器使用八层残差向量量化（RVQ）：

第一个语义码本包含 16,384 个条目，捕获核心音乐语义和结构。
其余七个声学码本各包含 1,024 个条目，表示残差声学细节。

训练首先优化语义码本，然后联合训练全部八个码本。在推理时，波形合成使用融合后的大语言模型隐状态，不需要离散分词器解码器。

如何使用

MiniMax Music 3 受 SGLang-Omni 支持。请按照官方安装指南准备运行环境。

下载模型

hf download MiniMaxAI/MiniMax-Music3 --local-dir /path/to/minimax_ttm

我们推荐以下推理框架来部署该模型：

SGLang (https://docs.sglang.io/) — 参见 cookbook
diffusers (https://github.com/huggingface/diffusers) — 参见 diffusers 文档
ComfyUI (https://github.com/Comfy-Org/ComfyUI) — 参见 ComfyUI 教程

使用 SGLang-Omni 提供服务

sgl-omni serve --model-path MiniMaxAI/MiniMax-Music3 --port 8000

生成音乐

该服务使用共享的语音 API。将歌词放在 input 中，将音乐描述放在 instructions 中。将诸如 [Verse] 和 [Chorus] 的歌词结构标签单独放在一行。

curl http://127.0.0.1:8000/v1/audio/speech \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "MiniMaxAI/MiniMax-Music3",
    "input": "[Verse]\nMorning light filtering through the pine\n[Chorus]\nSoftly the world begins to breathe",
    "instructions": "A warm acoustic pop song with intimate female vocals, fingerpicked guitar, soft piano, and a gradual emotional build into a wide final chorus.",
    "response_format": "wav",
    "seed": 7,
    "max_new_tokens": 750,
    "stream": false
  }' \
  --output minimax_music3.wav

max_new_tokens 设置最大音频帧数，每秒 25 帧。当模型发出音频结束令牌时，生成可能会在此限制之前完成。响应为 32 kHz、16 位立体声 WAV 文件。

可复现示例

以下端到端示例包含用于生成参考音频的完整歌词、音乐描述和生成参数。

🧨 Diffusers

MiniMax Music 3 可作为 diffusers 模块化流水线使用。在 huggingface/diffusers#14456 合并之前，请从该 PR 提交安装 diffusers：

以下代码片段适用于 24GB+ 显存的 GPU

pip install git+https://github.com/huggingface/diffusers@dafe3733fcfdbf3c48915fe77be3aef65b5d6a2d transformers accelerate soundfile

import soundfile as sf
import torch
from diffusers import ModularPipeline

pipe = ModularPipeline.from_pretrained("MiniMaxAI/MiniMax-Music3")
pipe.load_components(dtype=torch.bfloat16)
pipe.to("cuda")

lyrics = """[verse]
Morning light filtering through the pine
Every quiet street is yours and mine
[chorus]
Softly the world begins to breathe"""

prompt = (
    "Genre: acoustic pop. BPM: 96. Key: C major. Warm and intimate, building gently into the chorus. "
    "Vocals: soft female lead, close and breathy, light stacked harmonies in the chorus. "
    "Arrangement: fingerpicked guitar and soft piano; brushed drums and upright bass enter in the chorus."
)

audio = pipe(
    prompt=prompt,
    lyrics=lyrics,
    audio_duration=60.0,
    generator=torch.Generator("cuda").manual_seed(7),
    output="audios",
)[0]

sf.write("song.wav", audio.T.float().cpu().numpy(), pipe.sampling_rate)

低显存模式

完整精度可适配 24GB 以下显存。启用自动 CPU 卸载后，生成约占用 22 GB 显存；如果进一步逐层流式加载语言模型，甚至可以适配 8 GB 显卡：

import torch
from diffusers import ComponentsManager, ModularPipeline
from diffusers.hooks import apply_group_offloading

manager = ComponentsManager()
manager.enable_auto_cpu_offload(device="cuda")
pipe = ModularPipeline.from_pretrained("MiniMaxAI/MiniMax-Music3", components_manager=manager)
pipe.load_components(dtype=torch.bfloat16)

# 仅在约 22 GB 显存以下需要——更慢，但可适配 8 GB。
apply_group_offloading(
    pipe.language_model, onload_device=torch.device("cuda"), offload_type="leaf_level", use_stream=True
)

提示词增强

可以使用简洁的自然语言描述直接生成。如需更丰富的提示词和更精确的控制，请使用提供的 music-caption-rewriter (https://github.com/MiniMax-AI/MiniMax-Music3/tree/main/skills/music-caption-rewriter) 技能，将其扩展为包含 全局元数据、人声细节 和 编曲 的结构化描述。该技能会在编曲描述中保留附加到歌词段落标签上的音乐指令，同时保持歌词文本位于歌词输入中。

npx skills add MiniMax-AI/MiniMax-Music3 --skill music-caption-rewriter

局限性

推理需要 CUDA。
目前仅支持非流式生成。
分词后的文本提示词限制为 5,000 个令牌。
音频生成限制为 9,000 个声学帧。
段落标签和音乐描述提供的是生成性控制，而非严格的符号保证。生成的节奏、调性、乐器、歌词和歌曲结构可能不会完全匹配每一个请求的细节。

联系我们

请通过 [email protected] 联系我们。