@kyutai_labs:认识 AURA——为你的语音 AI 赋予一张脸。实时生成。单 GPU 即可运行。挑选一张脸(或上传你自己的),开始对话,然后……
摘要
Kyutai Labs 推出 AURA——一个面向语音 AI 的实时人脸/虚拟形象,可在单 GPU 上实时生成口型同步的视频,并将开源整个技术栈。
认识 AURA——为你的语音 AI 赋予一张脸。实时生成。单 GPU 即可运行。
挑选一张脸(或上传你自己的),开始对话,它就会以实时生成的口型同步视频来回应你。试试下面的演示吧!
我们还会把所有内容全部开源🧵⬇️ https://t.co/EAZ8lAI6Jc
查看缓存全文
缓存时间: 2026/11/20 16:03
认识 AURA——你语音 AI 的一张脸。实时呈现,单 GPU 驱动。
选择一张脸(或上传你自己的),开始说话,它就会以实时生成的口型同步视频作答。试试下面的演示吧!
我们还将全部开源 🧵⬇️ https://t.co/EAZ8lAI6Jc
相似文章
AURA:音频驱动的流式数字人(AUdio-dRiven streaming Avatar)
AURA 是一个音频驱动的流式数字人系统,通过滚动 KV 缓存和两阶段蒸馏管线实现低延迟的因果视频生成,发布了 1.3B 和 5B 两个模型,可在单张 GPU 上实时生成说话人头视频,并附带 3 万条合成视频及教师模型轨迹数据。
@DanKornas: 想要生成头像视频但不想将面部和语音数据发送到云端服务?Duix.Avatar 是一款本地 AI 工具…
Duix.Avatar 是一款本地 AI 头像工具包,能够根据视频、语音和脚本输入生成口型同步的头像视频,无需将数据发送到云端。它支持八种语言,并在 GitHub 上以社区许可证发布。
@ClaraChappaz: 来自Kyutai实验室的声音瑰宝,@GradiumAI正加速前进!
Gradium AI发布了Voice Design,允许从描述口音、年龄、性别和语速的文本提示创建自定义AI语音,可通过其API和Studio使用。
超越应答:在流式视频中学会主动开口与行动
AURA 2.0 是一款流式视频大语言模型,能够自主发起对话、基于视觉上下文调用工具并执行交互式视觉定位,通过三阶段训练方案与长程交互记忆实现开源流式模型中的领先性能。
@tom_doerr: 从音频生成高保真3D面部动画,具有准确的唇形同步和细腻的情感表达…
NVIDIA Audio2Face-3D 从音频生成高保真3D面部动画,提供准确的唇形同步和情感表达。它以开源SDK形式发布,包含预训练模型以及Maya和Unreal Engine 5的插件。