今天，我们正式推出AirCaps音频研究实验室。

现实世界的音频理解难度是数字世界的10倍，而语音处理远未达到“已解决“的状态。

我们正在构建面向物理世界的全流式语音与音频模型：目标说话人提取、远场增强、语音分离、说话人分割以及语音转文字。

在最具挑战性的声学环境中，我们的模型性能显著领先于主流云端语音模型，同时可在消费级硬件上实现边缘计算运行。

实时演示请访问：https://research.aircaps.com

AirCaps音频研究实验室

来源：https://research.aircaps.com/

赋予机器人类级别的音频与语音感知能力

AirCaps音频研究实验室探索智能系统如何更好地实时理解和交互复杂的真实世界声学环境。

我们的研究涵盖多声道音频处理、空间滤波、声源分离、声源定位、目标说话人提取、自动语音识别和语音合成。

我们特别关注只存在于物理世界中的“复杂“音频环境：远场拾音、混响干扰、低信噪比（包括扩散噪声和定向噪声）、重叠语音（嘈杂人声）以及多说话人场景。

1. 01 ### 现实世界音频理解难度是数字世界的10倍。我们在消费电子领域研发语音技术已有8年历史。早在ElevenLabs甚至OpenAI出现之前，我们就意识到所有领先的语音模型（当时主要来自谷歌和微软）都针对“数字“领域优化：客服中心转录、Zoom会议记录、播客和电影字幕。一旦将这些模型部署到“复杂“的物理世界——远场、混响、低信噪比、语音重叠——性能就会急剧下降。部分原因在于真实世界带噪音频数据的稀缺性。现有最大的语音模型数据集和评估基准，其复杂程度远不及真实环境。这是来自Librispeech的样本——事实上的自动语音识别基准数据集。经过精心剪辑、干净清晰的单说话人有声书语音。这是我们专有数据集中的真实世界样本。背景噪声、距离衰减、干扰人声都在与目标语音竞争。差距仍然惊人地显著——Ayllon等人（2026）评估了40个领先语音识别模型，发现在带背景噪声的语音中，中位词错误率（WER）达到20.45%，而同样这些模型在干净基准测试中仅报告2-3%的错误率。该研究还发现了“基准优化“的证据。[1]
2. 02 ### 单一模型远远不够。语音识别（“ASR“或“STT”）只能回答一个问题：说了什么词？简单地给机器套用语音转文字模型，并不能使其真正理解现实世界音频。一个实用的系统还必须推断谁在说话、声音方位、是否面向设备、需要聚焦哪个说话人，同时还要增强语音并抑制干扰噪声。这就是著名的“鸡尾酒会问题“。人类能在几毫秒内完成这些处理，而机器自1953年[2]以来虽经不懈努力，仍未良好解决。我们不仅开发语音转文字模型，还构建了专用模型：- 目标说话人提取 - 定向语音增强 - 说话人分割 - 说话人识别 - 声源定位（SSL） - 连续移动说话人跟踪 - 重叠语音分离 - 语音增强与去混响
3. 03 ### 从底层架构就为流式处理而生。人机交互不能等待文件上传。实时系统必须是因果性的：在时间t，它只能使用t时刻及之前的采样数据，永远无法获取能让当前决策更准确的未来信息。因此，批处理（异步/离线）模型的准确性往往会高估交互式（流式）系统的能力。因果性要求改变架构设计、训练方式和评估标准。每个阶段都必须保持有限状态、持续恢复，并且以比音频流入更快的速度处理数据（实时因子“RTF“低于1.0），以确保端到端延迟足够低，实现自然的语音轮替。
4. 04 ### 边缘计算时代已至。智能机器不应因断网就丧失通信能力。汽车语音助手不应在隧道中失灵；智能手机的语音输入不应因徒步登山就失效。每次语音交互也不该按字计费产生费用。边缘智能曾面临双重困境：设备算力不足，以及强大模型体积过大。这两项限制正在迅速改善。苹果A19 Pro（iPhone 17 Pro）将16核神经网络引擎与每个GPU核心中的神经加速器相结合，官方报告显示其持续性能比前代提升高达40%。新型专用音频模型架构将算力集中于单一任务，在麦克风所在处提供高智能密度。最新的基于波场的仿真方法能生成可控的房间混响、移动轨迹、噪声和重叠说话人混合数据，从而生成更高质量的训练数据。我们所有模型均针对消费级设备（现代智能手机、笔记本电脑、可穿戴NPU）的边缘部署进行优化，同时保持RTF<1。这使得私密、低延迟、经济高效的语音AI能在任何时间、任何地点工作。

当前研究方向

1. 噪声抑制 (https://research.aircaps.com/#noise)
2. 干扰语音处理 (https://research.aircaps.com/#interfering-speech)
3. 多说话人分离 (https://research.aircaps.com/#separation)

现有服务商通过在带噪音频上训练语音转文字模型来应对现实环境，这种方法在一定程度内效果良好。但在高混响、远场（目标声源远离麦克风）、高噪声（信噪比<5dB）条件下，其性能会显著下降。

相反，我们构建的专用模型首先处理原始音频，输出增强后的音频，再将其送入语音转文字模型。我们将增强模型与识别模型进行联合训练。我们的模型利用多声道音频信号中的空间线索，从嘈杂混合音频中“聚焦“提取目标语音频谱。您可以亲自对比观看效果：

在许多情况下，机器必须能够区分目标语音（用户）与非目标语音（例如餐厅邻桌的交谈声、背景播放的电视声）。现有模型通常被训练为仅关注混合音频中最“主导“的语音，这会导致转录内容混乱或完全遗漏目标说话人。

这是一个难题。其他语音比普通噪声更难消除：它们与我们需要保留的目标信号具有相同结构。

我们的研究结合了频谱信息（语音的声音特征）和方向信息（声音来源方位），以隔离目标语音并抑制竞争性人声。

03

多说话人分离

在许多场景中，同步发生的重叠语音不能简单丢弃，因为所有参与者都可能是目标。在自然对话中，同步语音占比高达20.8%[3]。

小组会议会丢失插话、确认和决策；访谈和直播小组会遗漏声音较小的说话人；汽车、智能房间和多用户语音助手则会完全丢弃目标说话人。单一的语音隔离或抑制模型只能提取单个目标，而这里需要的是多说话人分离技术。

我们的模型将多说话人混合音频分离为稳定、说话人一致的音频流，使转录、说话人识别和智能系统能够保留并归因多个目标语音。

家用机器人语音交互

使用模型：噪声抑制、语音增强、目标说话人隔离、语音转文字

鲁棒唤醒词检测

使用模型：背景语音抑制、目标语音增强、语音转文字

多用户机器设备

使用模型：声源定位、定向语音隔离、说话人识别与验证、语音转文字

车载语音交互系统

使用模型：语音增强与去混响、噪声抑制、定向语音提取、说话人验证、个性化语音活动检测、语音转文字