标签
NVIDIA 发布了 NemotronLabs RE-USE，这是一款拥有 960 万参数的多语言通用语音增强模型，能够在各种音质劣化条件和采样率下恢复语音质量，性能超越规模更大的开源 USE 模型，同时可用于商业用途。
该论文提出了一个修正的语音质量预测器可攻击性测量协议（包括正确的神经编解码器往返参照和多种子最坏情况评估），并在此基准下发现NISQA、SSL-MOS、DNSMOS和UTMOS在可攻击性上差异巨大（90%至6%），同时揭示了封闭式攻击-检测-补丁循环的局限性。
UniSE 是一个统一的、无需提示的、自回归语音增强模型，基于纯解码器语言模型，支持单一模型内完成语音恢复、目标说话人提取和语音分离等多种任务。
一种通用语音增强模型，通过并行卷积和提前退出机制，允许对算法延迟和计算延迟进行可配置控制，使得单一模型无需重新训练即可服务于多种实时应用。