inworld/人声分离器

Hugging Face Models Trending 模型

摘要

Inworld 以 Apache-2.0 许可证发布了 Voice Isolator v1:包含两款 48 kHz 人声分离模型(离线模型和具有 20 毫秒前瞻的实时模型),用于清理含噪语音录音、直播流和语音数据集,并在 Hugging Face 和 GitHub 上提供 Python 包和命令行工具。

任务:音频到音频 标签:Inworld 人声分离、音频、语音、语音增强、语音降噪、噪声抑制、人声分离、48 千赫兹、全频段、流式传输、实时、音频到音频、许可证:Apache-2.0、地区:美国
查看原文
查看缓存全文

缓存时间: 2026/11/19 03:41

inworld/voice-isolator · Hugging Face

来源:https://huggingface.co/inworld/voice-isolator Inworld

采用开放许可证 (Apache-2.0) 的 48 kHz 人声分离模型,适用于嘈杂的语音录音和实时音频。

GitHub:inworld-ai/voice-isolator (https://github.com/inworld-ai/voice-isolator)


https://huggingface.co/inworld/voice-isolator#tldr概要

Inworld Voice Isolator v1 提供两个采用相同架构的模型:

voice\-isolator\-v1``voice\-isolator\-v1\-realtime适用场景录制音频及任何对延迟不敏感的场景,提供最佳音质实时音频,可作为流水线或生产环境中的音频流运行方式离线:每一帧都能看到其所在的完整 8 秒音频块带有 20 毫秒前瞻的因果流参数量64M58M 适合用途在播放或发布前清理录音,整理语音数据集,以及在必须保留说话人身份特征的语音流水线中使用。实时模型可用于实时通话和直播。从输入中减去分离出的人声,即可提取背景噪声,或获得用于人声/音乐分离的伴奏残余信号。

它们不是说话人选择器,也不是音频修复模型。音频修复计划在第 2 版中提供 (参见计划 (https://github.com/inworld-ai/voice-isolator#plans))。

https://huggingface.co/inworld/voice-isolator#quick-start快速开始

正在使用编程智能体?请让它阅读 AGENTS.md 的设置部分 (https://github.com/inworld-ai/voice-isolator/blob/main/AGENTS.md#setting-up-the-voice-isolator-for-a-user):它会安装软件包,使用voice\-isolate\-doctor检查机器,并清理第一个文件。

`` pip install inworld-voice-isolation

或从克隆的仓库安装:git clone https://github.com/inworld-ai/voice-isolator && cd voice-isolator && pip install -e .

一个含噪声的示例;克隆的仓库中也有此文件,位于 demo/examples/sample_14.wav

curl -LO https://raw.githubusercontent.com/inworld-ai/voice-isolator/main/demo/examples/sample_14.wav

离线分离(首次使用时会下载离线模型):

人声保存到 sample_14_clean.wav,移除的背景音

保存到同一目录下的 sample_14_clean_background.wav

voice-isolate sample_14.wav sample_14_clean.wav ``

两者均为 48 kHz 的 float32 WAV 文件,并保留原始电平;将它们相加即可重建对齐后的单声道输入。使用\-\-output\-sr 0保留输入采样率,使用\-\-background noise\.wav指定单个文件的背景音输出路径,或使用\-\-no\-background仅保存人声。

`` from inworld import voice_isolation

离线分离录音

offline = voice_isolation.VoiceIsolator(“inworld/voice-isolator”) wav, sample_rate = voice_isolation.load_audio(“sample_14.wav”) voice = offline.isolate(wav, sample_rate) voice_isolation.save_audio(“sample_14_clean.wav”, voice, sample_rate, subtype=“FLOAT”) voice_isolation.save_audio(“sample_14_clean_background.wav”, wav - voice, sample_rate, subtype=“FLOAT”) # 被移除的内容 ``

https://huggingface.co/inworld/voice-isolator#streaming流式处理

实时模型会在音频到达时分离人声,前瞻时长为 20 毫秒:

`` import torch from inworld import voice_isolation

live = voice_isolation.VoiceIsolator(“inworld/voice-isolator”, mode=“streaming”, lookahead_frames=2) session = live.stream() # 接收 48 kHz 单声道音频,音频块大小不限 wav, sample_rate = voice_isolation.load_audio(“sample_14.wav”) # 48 kHz 单声道音频,用于模拟实时音源 voice = [] for start in range(0, len(wav), 960): # 每次 20 毫秒,模拟麦克风传入音频 voice.append(session.push(wav[start:start + 960])) # 已最终确定的采样:可播放或发送 voice.append(session.flush()) # 音源结束后,输出剩余部分 voice_isolation.save_audio(“sample_14_streamed.wav”, torch.cat(voice), sample_rate) ``

流式命令行工具会在整个文件处理完毕后,仅写出分离出的人声:

voice-isolate sample_14.wav sample_14_streamed.wav --mode streaming --lookahead 2

权重会在首次使用时下载,并验证其校验和。运行模式决定使用的检查点:离线模式使用voice\-isolator\-v1,流式处理使用voice\-isolator\-v1\-realtime。有 CUDA 时使用 CUDA;在搭载 Apple 芯片且安装 PyTorch 2.6 或更高版本的 Mac 上使用 Apple 的 Metal 后端 (mps);其他情况使用 CPU;可通过\-\-device指定设备。

代码、交互式演示 (https://github.com/inworld-ai/voice-isolator/blob/main/demo/README.md)和基准测试 (https://github.com/inworld-ai/voice-isolator/blob/main/bench/README.md)均位于 GitHub:inworld-ai/voice-isolator (https://github.com/inworld-ai/voice-isolator)。演示程序在启动时加载两个模型:离线模式将文件和示例处理为人声与背景音;在线模式对麦克风音频进行最长 60 秒的流式处理,并持续更新波形图和频谱图,在播放前暂停采集。

https://huggingface.co/inworld/voice-isolator#hardware硬件

已在 NVIDIA Ampere、Hopper 和 Blackwell GPU (A100、H100、B200 和 B300) 以及 CPU 上进行测试。较小的 GPU 尚未测试 (参见计划 (https://github.com/inworld-ai/voice-isolator#plans))。

https://huggingface.co/inworld/voice-isolator#the-vibe-benchmarkVIBE 基准测试

Inworld VIBE 全频段组:各系统的降噪得分

Inworld VIBE (Voice Isolation Benchmark and Evals,人声分离基准测试与评估) 通过两个榜单对 48 kHz 人声分离系统进行排名。图表展示的是降噪榜,该榜单收录所有系统,但以下情况除外:对于带限输入,系统在输入频带以上产生的能量比频带内高出 10 dB 以上;这些系统会被列入修复榜。Inworld 使用其内部评估集对每个系统进行评分,该评估集不对外发布。

系统的评分方式及分数含义 (https://github.com/inworld-ai/voice-isolator/blob/main/bench/README.md)。

https://huggingface.co/inworld/voice-isolator#architecture架构

网络:STFT、频带划分、七个双路径模块、各频带输出头、iSTFT;两个检查点

这是一个基于 STFT 的频带划分双路径网络 (n_fft 为 2048,48 kHz 下的帧移为 480,即每帧 10 毫秒)。每帧的频谱被划分为 46 个频带,低频处较窄,高频处较宽,每个频带每帧对应一个宽度为 512 的 token。七个模块交替采用两种类型,对 token 进行细化。其中四个模块先执行带旋转位置编码和排他式自注意力的时间注意力,再执行跨频带注意力。另外三个模块先沿时间维度运行 Mamba,再跨频带运行 Mamba (状态大小为 16)。各频带输出头生成有界复数掩码和有界的逐频点残差,并将残差加到输入频谱上。离线模型有 64.0M 个参数。实时模型有 58.2M 个参数;其模块具有因果性,并带有前瞻嵌入。输入为 48 kHz 单声道音频;事先不会进行任何分离或合成。

https://huggingface.co/inworld/voice-isolator#two-checkpoints两个检查点

离线模型voice\-isolator\-v1采用双向处理:每一帧都能看到其所在的完整 8 秒音频块,较长的输入则按 8 秒分块处理,相邻块重叠 2 秒。实时模型voice\-isolator\-v1\-realtime具有因果性,训练时支持 0、20 或 40 毫秒的前瞻;在前瞻为 20 毫秒时,其算法延迟为 63 毫秒。两者都会保留前景人声:当两个人同时说话时,会保留较响的人声,并移除比其低几 dB 的人声,而电平相近的人声通常都会保留。在语音增强文献的术语中,第 1 版执行的是降噪 (噪声抑制):它移除人声周围的声音,不会恢复录音中丢失的内容,例如缺失的带宽;修复功能将在第 2 版中提供。

https://huggingface.co/inworld/voice-isolator#training-data训练数据

Inworld Voice Isolator v1 使用约 10,000 小时的不重复音频进行训练。配对样本由录制的语音构建而成:包括多种语言的朗读和对话语音、富有表现力的声音和角色声音、耳语、歌唱,以及说话人自身发出的笑声、呼吸声和叹息声等非语言声音。语音与环境和家庭噪声、交通声、雨声和风声、音乐和人群声、单独的瞬态声响及其他说话人的声音混合,并经过实测和模拟的房间响应,以及电话传输和编解码造成的劣化处理。同一段语音在干净条件下及房间内录制的真实录音进一步补充了数据集。目标是:返回录制时的原本人声,移除所有不属于说话人的声音 (噪声、音乐、其他人声及房间混响尾部),保留说话人自身的非语言声音、电平和时序,且不凭空生成任何内容。

训练中使用的第三方数据集已在 NOTICE (https://huggingface.co/inworld/voice-isolator/tree/main/NOTICE) 中注明。

https://huggingface.co/inworld/voice-isolator#license许可证

代码和权重均采用 Apache-2.0 许可证 (LICENSE (https://huggingface.co/inworld/voice-isolator/tree/main/LICENSE))。第三方声明见 NOTICE (https://huggingface.co/inworld/voice-isolator/tree/main/NOTICE)。

https://huggingface.co/inworld/voice-isolator#how-to-contribute如何贡献

欢迎所有人按自己的意愿使用该模型,并以任何合适的方式对其进行改进!开发工作在 GitHub 上进行:有关环境设置、测试和错误报告,请参阅 CONTRIBUTING.md (https://github.com/inworld-ai/voice-isolator/blob/main/CONTRIBUTING.md)。


由 Inworld 怀着 ❤️ 为人们打造。

相似文章

jamiepine/voicebox

GitHub Trending (daily)

Voicebox 是一个开源的、本地优先的 AI 语音工作室,支持语音克隆、语音生成、听写和 AI 代理集成,提供隐私保护和多引擎 TTS 支持。