标签
NVIDIA 发布了 NemotronLabs RE-USE,这是一款拥有 960 万参数的多语言通用语音增强模型,能够在各种音质劣化条件和采样率下恢复语音质量,性能超越规模更大的开源 USE 模型,同时可用于商业用途。
作者拆解了飞书(Lark)桌面端会议纪要的工程设计,并照此实现了一个 Mac 版会议纪要工具(即将开源),总结了录音分片上传、并行 AI 纪要任务、可溯源图表三个核心设计。
Norah Studio 是一款创意工作室应用,可在 Mac、iPad 和 iPhone 上探索和改造音乐,提供音轨分离、速度/调性调整、和弦、效果、和声以及音频/MIDI 导出,全部在设备端运行。
VoxLock 是一个无需注册步骤的因果性目标说话人提取模型,通过微调 REAL-TSE 实现,在真实录音上达到接近商业级的语音识别精度(Krisp 基准 WER 4.95%),且 CPU 占用和延迟极低,模型与代码均已开源。
Alkove 是一个开源(Apache-2.0)的端侧语音前端,由五个微型模型(总计 7.5 MB)组成——可输入任意文本的唤醒词系统、基于声纹的说话人过滤,以及个人化 VAD——运行在自研的 Rust 推理引擎上,提供 npm、pip、Android、LiveKit 和 Pipecat 包,旨在 STT 之前减少本地语音助手的误唤醒和串音问题。
Maybloc 推出了一款全新的先进语音转文本产品,专为多人音频设计,宣称在多项基准测试中实现了最低的说话人分离错误率,支持 45 种语言和最多 25 位说话人,并提供字幕、个人身份信息(PII)脱敏、摘要和翻译等附加功能。
Audio Lip Sync Pro 是一款 Blender 工具,可直接根据音频片段生成高质量的口型同步面部动画,完全在本地运行,无需账户或网络连接。Unity 和 Maya 版本已在计划中。
DuET 是一种双编码器 Transformer,联合执行 MIDI 到乐谱的转录与节拍跟踪,以提升富有表现力的钢琴演奏转录中的时序和时值准确性,在钢琴谱数据集上实现了显著的 MUSTER 误差降低。
作者讲述了如何通过黑盒测试与信号分析,逆向工程一款商业空间音频处理程序,并在 Linux 上使用 PipeWire 复现其效果,涵盖了 HRTF、房间响应与心理声学的实践探索。
该论文介绍了 PawCT,这是首个面向声部感知合唱转录的端到端神经网络框架,能够识别活跃的 SATB(女高音、女低音、男高音、男低音)声部,并将每个声部转录为独立的音符级轨道。在 YouChorale 数据集上,其 F1 分数较以往的合唱自动音乐转录(AMT)基线模型有显著提升。
一位从业者分享了他们的 ASR 流水线在语码转换(code-switching)通话上如何失效:语言检测只在开头运行一次,导致英语-印地语混合语句中的印地语部分被搅得面目全非;现在他们改为持续检测,并将不稳定的片段送入人工审核队列,暴露出基准测试数字与真实通话行为之间的巨大差距。
Patchcord 是一款 macOS 菜单栏应用,允许用户在麦克风上运行任意 Audio Unit 插件,并将处理后的音频作为虚拟麦克风路由到 Zoom、Teams、Meet 或 Discord,支持每支麦克风独立均衡(EQ)和实时频谱显示。
本文介绍了如何使用汇编语言和特定时序技术,在ZX Spectrum的1位蜂鸣器上实现高质量的数字音频播放,并通过当时的硬件和现代克隆机进行了验证。
论文通过使用Hirschberg算法和约束随机游走对Viterbi算法进行优化,将内存使用从140 GB减少到5 MB并提高速度,使得强制对齐能够在终端设备上运行,从而提升语音处理的可扩展性。
FRAUDSkill是一个用于音频反欺诈检测的结构化冻结权重适配框架,它通过优化外部技能程序而不修改底层音频语言模型,实现了更高的准确性和更少的无效输出。
Septabee 教程:一款积极开发中的免费数字音频工作站,展示其独特界面、高质量采样精确音频处理以及高级功能,如用于合成的自定义编程语言。
Soundmap 是一款利用网络摄像头和已连接的智能手机实时可视化声音的网页工具,可将音频转化为视觉展示。
Desert Ant Labs,一家欧洲人工智能实验室,推出一套用于音频、视觉和文本的小型专用设备端模型,通过在设备本地运行,提供快速推理和隐私保护。