标签
用户分享了一个AI视频音频工作流:用Seedance 2.5生成无声画面,再用Sonilo生成配乐和音效并二次调整,解决AI视频声画一体、音频难调的问题,同时推广Sonilo的万圣节会员活动。
Google DeepMind 发布了 Genie 4 世界模型研究预览版,新增实时音频生成、更逼真的可交互世界,以及支持中途提示词编辑的实时操控功能。该模型可维持最长两分钟的场景一致性,并与 Gemini 深度集成,用于机器人仿真、游戏和影视原型制作等场景。
AMBIT是一个统一框架,通过将自回归场景规划与整流流(rectified-flow)渲染相耦合,实现一阶Ambisonics(FOA)空间音频的生成与编辑,并利用FOA感知的连续VAE与on-policy自蒸馏来保持空间结构和声学保真度。
inclusionAI 发布了 Ming-3.0-TTS-0.5B,这是一个基于 Qwen2.5-0.5B 构建的稠密 0.5B 多语言文本转语音模型,支持零样本声音克隆、声音设计、副语言内联标签以及自由风格控制,涵盖 7 种语言及中文方言。
RubatoCodec 提出一种基于固定语句事件预算的自适应语音令牌化方法,结合流式解码,在低事件率下显著提升语音重建质量与可懂度,并在匹配的文本到语音对比中取得更低 WER 与更高 UTMOS 分数。
作者认为顶级AI实验室近期的短期重点应是让模型具备真实音频能力,并在“taste(品味/质量感)”上实现类似 Opus 5.5 的跃升,从而让人们能自娱自乐,把算力更多用于实际生产力,而非处理复杂的社交障碍。
Drama3 模型现已支持在 audio.cpp 中运行,在 RTX 5090 上全速运行时最快可达实时速度的 5 倍,或在低于 8 GB 显存下以约 2 倍实时速度运行,仍需进一步优化与修正。
Fish Audio 推出其最新 AI 语音模型 Drama 3,支持通过自然语言控制情感、节奏、耳语、笑声和停顿,可生成多角色场景、有声书与游戏对话,覆盖 83 种语言,并以社区许可证开放权重供自托管。
Fish Audio 发布了 Drama 3 预览版文本转语音模型,支持用自然语言、括号内标签、音效与局部标记来精确指导每一句台词的表演方式,并可通过 API 调用。
Sundar Pichai 分享了 Argon 生成的 3D 动态字体作品,全部通过代码生成(包括音乐),无需预录素材或视频编辑软件,每一帧都由 Argon 使用数学算法(3D 网格、粒子模拟、向量几何等)绘制而成。
Fish Audio 发布开源语音生成模型 Fish Audio Drama 3 的技术报告:基于 35B 参数混合专家骨干(每 token 激活 3B),支持多参考语音克隆、自然语言导演指令、多轮修订、多人场景配音、编辑式填充、长音频与流式合成,单张 H200 推理速度达 271 帧/秒。
一个 Ask HN 讨论帖,探讨文本 + 参考音频 → 音频生成在商业化方面的空白:图像和文本模态已经商品化,而可控音频生成仍明显落后。
一条称赞 ElevenLabs 新款 Eleven v4 语音模型的推文,重点提到了一支演示广告——在其中 AI 语音朗读了一份列举 AI 语音'做不到'的各种事情的脚本。
Podonos 推出 Onepin,一款可用于生产环境的语音 AI 工具,能逐行检查生成内容的自然度和发音,自动纠正品牌名等词汇的误读,直接从脚本生成成品旁白。
Fish Audio 发布新一代文本转语音模型 Drama 3,采用 35B 参数 MoE 架构(每 token 激活 3B),支持最多 16 个说话人的多角色长文本生成、语音克隆与自然语言控制,并可在 SGLang-Omni 上流式部署。
这篇综述论文将联合音视频生成、跨模态生成与耦合编辑统一到一个基于音视频对分布的表述框架中,并提出包含五个设计轴与九个编辑类别、涵盖28种编辑类型的分类体系。
YuE2是一个统一的AI模型,用于符号和音频音乐生成,通过符号规划实现高质量结果,超越之前的基线,并与像Suno这样的专有系统竞争。
Gemini Notebook 宣布其 AI 主持人的声音已使用 Gemini 3.8 TTS 进行更新,这表明文本转语音功能得到了改进。
Google 推出 Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS,这些新的文本转语音模型可让创作者和开发者生成富有表现力且可定制的音频。
HyperFlow 推出了一个新的 MiniMax-H3 变体,该变体使用开放权重 LoRA,通过无数据自蒸馏实现 3 倍速推理,同时保持视频和立体声输出。