OpenMOSS-Team/MOSS-TTS-v1.5 · Hugging Face

来源: https://huggingface.co/OpenMOSS-Team/MOSS-TTS-v1.5

https://huggingface.co/OpenMOSS-Team/MOSS-TTS-v1.5#moss-tts-familyMOSS-TTS 家族

MOSS-TTS-v1.5 基于 MOSS-TTS 1.0 (https://huggingface.co/OpenMOSS-Team/MOSS-TTS) 延续发展。它保留了 1.0 的主要能力，包括零样本语音克隆、长文本语音生成、Token 级时长控制、拼音/IPA 发音控制、多语言合成以及语码切换。有关 1.0 特性的完整介绍、输入模式、解码超参数和评估表格，请参见 MOSS-TTS 1.0 README (https://huggingface.co/OpenMOSS-Team/MOSS-TTS)。

与 MOSS-TTS 1.0 相比，v1.5 主要改进如下：

• 更强的多语言合成（带语言标签）：当省略 language 字段时，v1.5 在某些语言上可能有提升，在其他语言上略有退步。当指定语言时，v1.5 在几乎所有支持的语言上都比 1.0 更强。在构建用户消息时设置标签，例如 processor.build_user_message(text=text_fr, language="French")。
• 更稳定的语音克隆：v1.5 提升了说话人相似度，降低了克隆方差，使多次生成更加一致。
• 更好的长参考短文本克隆：v1.5 在处理参考音频远长于目标文本的场景时比 1.0 更可靠。
• 更稳定的标点跟随韵律：v1.5 更紧密地跟随标点驱动的停顿，尤其在长句中。
• 显式停顿控制：v1.5 支持内联停顿标记，例如 "[pause 3.2s]"。例如 我今天学习了一首中国的古诗,它的名字是[pause 3.2s]静夜思! 在 静夜思 前插入了一个显式的 3.2 秒停顿。

https://huggingface.co/OpenMOSS-Team/MOSS-TTS-v1.5#supported-languages支持的语言

MOSS-TTS-v1.5 目前支持 31 种语言。它保留了 MOSS-TTS 1.0 (https://huggingface.co/OpenMOSS-Team/MOSS-TTS) 支持的 20 种语言，并通过多语言持续训练扩展了额外的语言，包括粤语、荷兰语、芬兰语、印地语、马其顿语、马来语、罗马尼亚语、斯瓦希里语、他加禄语、泰语和越南语。

语言代码国旗语言代码国旗语言代码国旗中文zh🇨🇳粤语yue🇭🇰英语en🇺🇸阿拉伯语ar🇸🇦捷克语cs🇨🇿丹麦语da🇩🇰荷兰语nl🇳🇱芬兰语fi🇫🇮法语fr🇫🇷德语de🇩🇪希腊语el🇬🇷希伯来语he🇮🇱印地语hi🇮🇳匈牙利语hu🇭🇺意大利语it🇮🇹日语ja🇯🇵韩语ko🇰🇷马其顿语mk🇲🇰马来语ms🇲🇾波斯语（法尔斯语）fa🇮🇷波兰语pl🇵🇱葡萄牙语pt🇵🇹罗马尼亚语ro🇷🇴俄语ru🇷🇺西班牙语es🇪🇸斯瓦希里语sw🇹🇿瑞典语sv🇸🇪他加禄语tl🇵🇭泰语th🇹🇭土耳其语tr🇹🇷越南语vi🇻🇳

https://huggingface.co/OpenMOSS-Team/MOSS-TTS-v1.5#quick-start快速入门

https://huggingface.co/OpenMOSS-Team/MOSS-TTS-v1.5#environment-setup环境设置

我们建议使用干净、隔离的 Python 环境，配合 Transformers 5.0.0 以避免依赖冲突。

conda create -n moss-tts python=3.12 -y
conda activate moss-tts

安装所有必需依赖：

git clone https://github.com/OpenMOSS/MOSS-TTS.git
cd MOSS-TTS
pip install --extra-index-url https://download.pytorch.org/whl/cu128 -e .

https://huggingface.co/OpenMOSS-Team/MOSS-TTS-v1.5#optional-install-flashattention-2(可选) 安装 FlashAttention 2

为了获得更快的速度和更低的 GPU 内存占用，如果硬件支持，可以安装 FlashAttention 2。

pip install --extra-index-url https://download.pytorch.org/whl/cu128 -e ".[flash-attn]"

如果机器内存有限且 CPU 核心较多，可以限制构建并行度：

MAX_JOBS=4 pip install --extra-index-url https://download.pytorch.org/whl/cu128 -e ".[flash-attn]"

注意：

• 依赖项在 pyproject.toml 中管理，目前固定使用 torch==2.9.1+cu128 和 torchaudio==2.9.1+cu128。
• 如果 FlashAttention 2 在机器上构建失败，可以跳过它，使用默认注意力后端。
• FlashAttention 2 仅在支持的 GPU 上可用，通常与 torch.float16 或 torch.bfloat16 一起使用。

https://huggingface.co/OpenMOSS-Team/MOSS-TTS-v1.5#basic-usage基本用法

提示：MOSS-TTS-v1.5 使用与 1.0 MossTTSDelay-8B 检查点相同的生成 API。对于多语言输入，当语言已知时请设置 language。

MOSS-TTS 提供了方便的 generate 接口用于快速使用。下面的示例涵盖：

1. 直接生成（中文/英文/带语言标签的多语言文本/拼音/IPA）
2. 语音克隆
3. 时长控制
4. 使用 [pause X.Ys] 的显式停顿控制

from pathlib import Path
import importlib.util
import torch
import torchaudio
from transformers import AutoModel, AutoProcessor
# 禁用损坏的 cuDNN SDPA 后端
torch.backends.cuda.enable_cudnn_sdp(False)
# 保持这些回退启用
torch.backends.cuda.enable_flash_sdp(True)
torch.backends.cuda.enable_mem_efficient_sdp(True)
torch.backends.cuda.enable_math_sdp(True)

pretrained_model_name_or_path = "OpenMOSS-Team/MOSS-TTS-v1.5"
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

def resolve_attn_implementation() -> str:
    # 当满足包和设备条件时，优先使用 FlashAttention 2
    if (
        device == "cuda"
        and importlib.util.find_spec("flash_attn") is not None
        and dtype in {torch.float16, torch.bfloat16}
    ):
        major, _ = torch.cuda.get_device_capability()
        if major >= 8:
            return "flash_attention_2"

    # CUDA 回退：使用 PyTorch SDPA 内核
    if device == "cuda":
        return "sdpa"

    # CPU 回退
    return "eager"

attn_implementation = resolve_attn_implementation()
print(f"[INFO] Using attn_implementation={attn_implementation}")

processor = AutoProcessor.from_pretrained(
    pretrained_model_name_or_path,
    trust_remote_code=True,
)
processor.audio_tokenizer = processor.audio_tokenizer.to(device)

text_1 = "亲爱的你,\n你好呀。\n\n今天,我想用最认真、最温柔的声音,对你说一些重要的话。\n这些话,像一颗小小的星星,希望能在你的心里慢慢发光。\n\n首先,我想祝你——\n每天都能平平安安、快快乐乐。\n\n希望你早上醒来的时候,\n窗外有光,屋子里很安静,\n你的心是轻轻的,没有着急,也没有害怕。\n\n希望你吃饭的时候胃口很好,\n走路的时候脚步稳稳,\n晚上睡觉的时候,能做一个又一个甜甜的梦。\n\n我希望你能一直保持好奇心。\n对世界充满问题,\n对天空、星星、花草、书本和故事感兴趣。\n当你问“为什么”的时候,\n希望总有人愿意认真地听你说话。\n\n我也希望你学会温柔。\n温柔地对待朋友,\n温柔地对待小动物,\n也温柔地对待自己。\n\n如果有一天你犯了错,\n请不要太快责怪自己,\n因为每一个认真成长的人,\n都会在路上慢慢学会更好的方法。\n\n愿你拥有勇气。\n当你站在陌生的地方时,\n当你第一次举手发言时,\n当你遇到困难、感到害怕的时候,\n希望你能轻轻地告诉自己:\n“我可以试一试。”\n\n就算没有一次成功,也没有关系。\n失败不是坏事,\n它只是告诉你,你正在努力。\n\n我希望你学会分享快乐。\n把开心的事情告诉别人,\n把笑声送给身边的人,\n因为快乐被分享的时候,\n会变得更大、更亮。\n\n如果有一天你感到难过,\n我希望你知道——\n难过并不丢脸,\n哭泣也不是软弱。\n\n愿你能找到一个安全的地方,\n慢慢把心里的话说出来,\n然后再一次抬起头,看见希望。\n\n我还希望你能拥有梦想。\n这个梦想也许很大,\n也许很小,\n也许现在还说不清楚。\n\n没关系。\n梦想会和你一起长大,\n在时间里慢慢变得清楚。\n\n最后,我想送你一个最最重要的祝福:\n\n愿你被世界温柔对待,\n也愿你成为一个温柔的人。\n\n愿你的每一天,\n都值得被记住,\n都值得被珍惜。\n\n亲爱的你,\n请记住,\n你是独一无二的,\n你已经很棒了,\n而你的未来,\n一定会慢慢变得闪闪发光。\n\n祝你健康、勇敢、幸福,\n祝你永远带着笑容向前走。"
text_2 = "We stand on the threshold of the AI era.\nArtificial intelligence is no longer just a concept in laboratories, but is entering every industry, every creative endeavor, and every decision. It has learned to see, hear, speak, and think, and is beginning to become an extension of human capabilities. AI is not about replacing humans, but about amplifying human creativity, making knowledge more equitable, more efficient, and allowing imagination to reach further. A new era, jointly shaped by humans and intelligent systems, has arrived."
text_3 = "nin2 hao3,qing3 wen4 nin2 lai2 zi4 na3 zuo4 cheng2 shi4?"
text_4 = "nin2 hao3,qing4 wen3 nin2 lai2 zi4 na4 zuo3 cheng4 shi3?"
text_5 = "您好,请问您来自哪 zuo4 cheng2 shi4?"
text_6 = "/həloʊ, meɪ aɪ æsk wɪtʃ sɪti juː ɑːr frʌm?/"
text_7 = "Bonjour, je voudrais essayer une voix française naturelle et stable."
text_8 = "我今天学习了一首中国的古诗,它的名字是[pause 3.2s]静夜思!"

# 使用 ./assets/audio 中的音频，避免从云端下载
ref_audio_1 = "https://speech-demo.oss-cn-shanghai.aliyuncs.com/moss_tts_demo/tts_readme_demo/reference_zh.wav"
ref_audio_2 = "https://speech-demo.oss-cn-shanghai.aliyuncs.com/moss_tts_demo/tts_readme_demo/reference_en.m4a"

conversations = [
    # 直接 TTS（无参考）。v1.5 推荐使用语言标签
    [processor.build_user_message(text=text_1)],
    [processor.build_user_message(text=text_2)],
    # 直接 TTS（无参考）。对于中文和英文以外的语言，建议使用语言标签
    [processor.build_user_message(text=text_7, language="French")],
    # 拼音或 IPA 输入
    [processor.build_user_message(text=text_3)],
    [processor.build_user_message(text=text_4)],
    [processor.build_user_message(text=text_5)],
    [processor.build_user_message(text=text_6)],
    # 显式停顿控制。使用 [pause X.Ys]，例如 [pause 3.2s]
    [processor.build_user_message(text=text_8)],
    # 语音克隆（带参考）
    [processor.build_user_message(text=text_1, reference=[ref_audio_1])],
    [processor.build_user_message(text=text_2, reference=[ref_audio_2])],
    # 时长控制
    [processor.build_user_message(text=text_2, tokens=325)],
    [processor.build_user_message(text=text_2, tokens=600)],
]

model = AutoModel.from_pretrained(
    pretrained_model_name_or_path,
    trust_remote_code=True,
    # 如果安装了 FlashAttention 2，可以设置 attn_implementation="flash_attention_2"
    attn_implementation=attn_implementation,
    torch_dtype=dtype,
).to(device)
model.eval()

batch_size = 1

save_dir = Path("inference_root")
save_dir.mkdir(exist_ok=True, parents=True)
sample_idx = 0
with torch.no_grad():
    for start in range(0, len(conversations), batch_size):
        batch_conversations = conversations[start : start + batch_size]
        batch = processor(batch_conversations, mode="generation")
        input_ids = batch["input_ids"].to(device)
        attention_mask = batch["attention_mask"].to(device)

        outputs = model.generate(
            input_ids=input_ids,
            attention_mask=attention_mask,
            max_new_tokens=4096,
        )

        for message in processor.decode(outputs):
            audio = message.audio_codes_list[0]
            out_path = save_dir / f"sample{sample_idx}.wav"
            sample_idx += 1
            torchaudio.save(out_path, audio.unsqueeze(0), processor.model_config.sampling_rate)

https://huggingface.co/OpenMOSS-Team/MOSS-TTS-v1.5#more-usage更多用法

MOSS-TTS-v1.5 在 API 上与 MOSS-TTS 1.0 兼容。有关前缀音频续写、详细的 UserMessage 和 AssistantMessage 字段、生成超参数、拼音/IPA 预处理示例和评估结果，请参见 MOSS-TTS 1.0 README (https://huggingface.co/OpenMOSS-Team/MOSS-TTS)。