RubatoCodec：基于预算的自适应语音令牌化与流式解码

Hugging Face Daily Papers 论文
speech-codec variable-frame-rate text-to-speech streaming-decoding neural-codec audio-generation

摘要

RubatoCodec 提出一种基于固定语句事件预算的自适应语音令牌化方法，结合流式解码，在低事件率下显著提升语音重建质量与可懂度，并在匹配的文本到语音对比中取得更低 WER 与更高 UTMOS 分数。

神经语音编解码器为语音生成提供离散令牌。较低的帧率可以缩短令牌序列，但每个令牌就必须承载更多的语言学和声学信息。变帧率编解码器通过根据语音内容自适应地分配令牌来应对这一权衡，但基于阈值的分配方式让内容决定了令牌数量，因此在固定设置下，语音生成器需要生成的序列长度会在不同语句和数据集之间发生变化。我们提出 RubatoCodec，一种基于 X-Codec-2 构建的变帧率语音编解码器，具有精确的语句级事件预算和流式解码能力。其自适应触发（Adaptive Firing）机制利用编解码器特征和波形频谱的变化，将语音划分为可变时长的事件，而无需学习边界预测器。离散码本和显式时长共同表示每个事件，使语音生成器能够逐个事件进行预测和解码。受控实验表明，在低事件率下，自适应分配在重建保真度和可懂度方面优于固定帧率编码。在大规模多语言语音上训练的模型在英语、日语和汉语上均达到了有竞争力的重建质量，在所评估的英语和日语基准上，在相近比特率下，其可懂度保持能力在所比较的编解码器中表现最佳。在匹配的文本到语音对比中，自适应表示取得了更低的 WER 和更高的 UTMOS 及 UTMOSv2 分数，同时说话人相似度相当。该语音生成器还能在没有显式生成时速率约束的情况下，学习到编解码器的语句级事件预算。这些结果表明，基于预算的自适应语音表示能够同时支持高质量重建和流式文本到语音生成。代码和权重已发布于 https://github.com/third-intelligence/RubatoCodec 和 https://huggingface.co/third-intelligence/RubatoCodec。
查看原文
查看缓存全文

缓存时间: 2026/10/22 15:44

论文页面 - RubatoCodec：预算约束下的自适应语音分词与流式解码

来源：https://huggingface.co/papers/2610.29434

摘要

RubatoCodec 采用具有固定语句预算的自适应事件编码，以提升低码率语音重建和流式文本转语音生成效果。

神经语音编解码器为语音生成提供离散 token。降低帧率可以缩短 token 序列，但每个 token 因此需要承载更多的语言学和声学信息。可变帧率编解码器（https://huggingface.co/papers?q=Variable-frame-rate%20codec）通过根据语音内容自适应分配 token 来应对这一权衡，但基于阈值的分配方式使 token 数量由内容决定，因此在固定设置下，语音生成器需要生成的序列长度在不同语句和数据集之间会产生变化。我们提出 RubatoCodec，一种基于 X-Codec-2（https://huggingface.co/papers?q=X-Codec-2）构建的可变帧率语音编解码器，具备精确的语句级事件预算和流式解码（https://huggingface.co/papers?q=streaming%20decoding）能力。其自适应触发机制（Adaptive Firing，https://huggingface.co/papers?q=Adaptive%20Firing）利用编解码器特征和波形频谱的变化，无需学习边界预测器即可将语音划分为时长可变的事件。每个事件由离散码字（https://huggingface.co/papers?q=Discrete%20codes）和显式时长共同表示，使语音生成器能够逐事件进行预测和解码。受控实验表明，在低事件率下，自适应分配在重建保真度（https://huggingface.co/papers?q=reconstruction%20fidelity）和可懂度方面优于固定速率编码。在大规模多语言语音（https://huggingface.co/papers?q=multilingual%20speech）上训练的模型在英语、日语和普通话上均实现了具有竞争力的重建质量，在相近码率下，在所评测的英语和日语基准上具有最佳的可懂度保持能力。在匹配条件的文本转语音（text-to-speech，https://huggingface.co/papers?q=text-to-speech）对比中，自适应表示取得了更低的 WER、更高的 UTMOS 和 UTMOSv2，同时说话人相似度相当。语音生成器还能在无需显式生成时速率约束的情况下，学习到编解码器的语句级事件预算。这些结果表明，带预算约束的自适应语音表示能够同时支持高质量重建和流式文本转语音（https://huggingface.co/papers?q=text-to-speech）生成。代码和权重已发布于 https://github.com/third-intelligence/RubatoCodec 和 https://huggingface.co/third-intelligence/RubatoCodec。

查看 arXiv 页面 (https://arxiv.org/abs/2610.29434) 查看 PDF (https://arxiv.org/pdf/2610.29434) GitHub1 (https://github.com/third-intelligence/RubatoCodec) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.29434)

在你的智能体中获取此论文：

hf papers read 2610.29434

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 1

third-intelligence/RubatoCodec Audio-to-Audio • 0.2B • 约14小时前更新 • 25 (https://huggingface.co/third-intelligence/RubatoCodec)

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.29434，即可从此页面链接它。

引用此论文的 Spaces 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2610.29434，即可从此页面链接它。

包含此论文的集合 0

没有集合包含此论文

将此论文添加到集合 (https://huggingface.co/new-collection)，即可从此页面链接它。

相似文章

CoSTA：面向高效口语对话模型的压缩语音词元适配

arXiv cs.CL

本文提出 CoSTA，一个兼容性保留的后置框架，通过均值初始化的词表扩展、发音适配与对话适配，将生成词元空间与合成词元空间解耦，在保留原始语音 tokenizer 和解码器的同时实现约 1.7 倍的语音词元生成速度与更低延迟，且不损失响应质量。

RASSG：用于流式工具执行的修复感知语义存续门控

arXiv cs.AI

论文提出 RASSG（修正感知语义存续门控），在流式语音中联合控制工具的提前启动与取消，通过参数稳定性判断是否启动，并结合无效风险与执行成本，在执行进入不可逆阶段前取消，显著降低过期执行率（在 ReCAST 上从 50% 降至 3.15%）。

Tacit-TTS：从自回归解码到掩码预测的免转录高效语音克隆

Hugging Face Daily Papers

Tacit-TTS 将 IndexTTS2 的自回归文本到语义解码替换为掩码非自回归生成，并结合免训练的声学长度估计与 ReFlow 蒸馏，实现了无需参考文本的零样本语音克隆；在时长超过 5 秒的语音上，其生成速度比 IndexTTS2 快 10 倍以上，同时支持跨语言以及非语音（如婴儿咿呀学语、合成乱码）参考音频的克隆。