标签
TaoMate-FVSR 提出了一种音频引导的面部视频修复框架,将参考引导的视频流建模与音频同步相结合,以恢复 AI 生成视频中的唇部、牙齿和面部细节,在说话人头像视频基准测试中实现了最先进的感知相似度和同步性能。
Shizuku AI 技术部门宣布为虚拟歌手 Shizuku 研发了专有口型同步技术,声称通过 1D CNN 等技术实现了比现有 uLipSync 方案更高质量的口型同步效果。
开源了「神佬知识大赏」Agent Skill(Digital Human Koubo),只需一张照片加一句话即可全自动生成带口播、配音、字幕和包装的数字人短视频,已在 GitHub 上发布。
Kling 4.0 是一款面向创作者、营销人员和工作室的 AI 视频生成模型,支持最多 10 个关键帧、15 个参考素材以及 8,000 token 的提示词,单次可生成时长 30 秒的片段;模型内置多语言唇形同步与立体声音频,并提供 Flash 快速版本,同时支持 MCP 与 CLI 接入。
Audio Lip Sync Pro 是一款 Blender 工具,可直接根据音频片段生成高质量的口型同步面部动画,完全在本地运行,无需账户或网络连接。Unity 和 Maya 版本已在计划中。
开发者发布 Amisoria——一款 iPhone 应用,可为运行在自家 Mac 上的 OpenClaw 网关智能体添加 3D 角色形象、神经语音、口型同步、免提对话与插话功能,支持 20 种语言,基础功能免费且部分开源。
该论文提出了 **Align Then Reason(ATR)**,这是一个多语言、免参考的口型同步评估器:它首先将帧级口型表征与候选台词的语音单元进行对齐,然后利用 LLM 在局部对齐证据与全局评分之上进行推理,以完成配音质量控制。在七种语言以及两项下游配音任务上,该方法相较于 Qwen3.5、LLaMA-3.1 和 Mistral 等 SFT 基线,取得了显著的 AUC 提升。
Seedance 2.5 已发布,支持 30 秒单次生成视频、音频参考口型同步,以及异步任务和 webhooks 等 API 功能。其突出之处在于失败生成不收费,且参考视频可获得更低的 token 费率,但输出最高仅为 720p。
谷歌重点介绍了博士生实习生Khoi的研究,该研究旨在将唇部动作与配音音频同步,为YouTube制作自然流畅的多语言视频。
Duix.Avatar 是一款本地 AI 头像工具包,能够根据视频、语音和脚本输入生成口型同步的头像视频,无需将数据发送到云端。它支持八种语言,并在 GitHub 上以社区许可证发布。
NVIDIA Audio2Face-3D 从音频生成高保真3D面部动画,提供准确的唇形同步和情感表达。它以开源SDK形式发布,包含预训练模型以及Maya和Unreal Engine 5的插件。
讨论AI社交应用从文字聊天到实时视频交互的演变,重点介绍了Mel的多模态交互栈以及延迟、唇形同步和协调等技术挑战。
美团开源了LongCat-Video-Avatar-1.5模型,支持单张照片和语音生成逼真的说话视频,支持多语言、长视频,性能超越商业闭源方案。
LongCat-Video-Avatar 1.5 是一个升级的开源框架,用于音频驱动的人像视频生成,具备更优的唇形同步、生产级稳定性及高效的8步推理能力。
像sync.so这样的AI唇同步工具可以重新绘制嘴部动作以匹配配音音频,可能化解长期以来关于配音因嘴部动作不匹配而破坏沉浸感的争论。