speech-synthesis

对VoxCPM2的技术解析与基准测试，这是一款开源TTS模型，具备“终极克隆模式”以捕捉呼吸与口音。本地测试显示其低VRAM占用和跨语言口音保持能力。

从机械到神经AI系统的说话机器发展史的详细概述，并介绍了作者基于macOS文本转语音框架的SaySynth项目背景。

SwanVoice 是一种零样本文本转语音模型，专为富有表现力的长文本独白和对话合成而设计，结合了 VAE、流匹配 DiT 和扩散后训练，在丰富度和层次感得分上均优于现有基线模型。

本文提出使用带有发音特征的音素识别来评估语音发音合成，解决了点对点距离等传统指标的局限性。在单说话人RT-MRI数据集上的实验表明，该方法能够捕捉语音细节并改进评估。

牛津大学博士后 Kevin Lin 开源了 Violin 视频翻译工具，将语音识别、LLM 翻译和语音合成整合为自动化流水线，支持多语言互译和个性化风格，并提供 Web、CLI 和 Agent 三种使用方式。

DramaBox是一个基于LTX-2.3微调的开源权重TTS模型，利用舞台提示（stage directions）生成富有表现力的语音，并支持通过10秒样本进行可选的语音克隆。

Thinking Machines 发布了 TML-Interaction-Small，这是一个 276B 参数的 MoE 模型，专为实时、始终在线的交互设计，延迟低于 0.4 秒，并集成了多模态处理能力。

本文讨论了一种能够模仿人类语音的机器人，重点介绍了机器语音合成及交互方面的最新进展。

# 论文页面 - 分层编解码扩散模型用于视频到语音生成 来源：[https://huggingface.co/papers/2604.15923](https://huggingface.co/papers/2604.15923) ## 摘要 HiCoDiT 利用离散语音 token 的分层结构，从视频中生成语音，通过粗到细的双尺度归一化条件，实现更优的音视对齐。视频到语音（VTS）任务旨在无声视频中合成语音，而无需任何音频信号。

Qwen3.5-Omni 是一个千亿参数的多模态模型，具备先进的音视频理解与生成能力，引入了新颖的 Audio-Visual Vibe Coding，在215项基准测试中取得SOTA结果，同时与 Gemini-3.1 Pro 持平。

Google DeepMind 升级语音合成模型，在70多种语言中声音更自然，并为所有输出添加 SynthID 水印。

Qwen3-TTS 技术报告介绍了一系列先进的多语言文本转语音模型，具备语音克隆和可控生成能力，采用双轨 LM 架构和专用分词器以实现低延迟流式处理。

本文介绍了连续音频语言模型（CALM），该模型使用连续帧而非离散token生成音频，以提升语音和音乐生成的保真度并降低计算成本。

VibeVoice 是微软推出的一款新模型，它利用 Next-Token Diffusion（下一令牌扩散）和一种高度高效的连续语音分词器，生成长形式多说话人语音。该模型实现了卓越的保真度和压缩率，支持长达 90 分钟的多说话人音频生成。

Google 宣布 Gemini 2.5 具备先进的原生音频功能，可实现实时对话型 AI，支持自然语音生成、风格控制和 24 种以上语言的多模态理解。

OpenVoice是一种多功能语音克隆方法，它能够使用单个音频片段实现灵活的语音风格控制和高效率的零样本跨语言克隆。

XTTS-v2是Coqui开发的开源基础语音模型，支持多种语言的文本到语音合成，最近新增了印地语支持。

Voicebox 是一个开源的、本地优先的 AI 语音工作室，支持语音克隆、语音生成、听写和 AI 代理集成，提供隐私保护和多引擎 TTS 支持。