论文页面 - LeapTalk：打破说话头生成中的延迟-质量权衡

来源：https://huggingface.co/papers/2608.00079
发布于 7 月 29 日

·

由 https://huggingface.co/z-rx 提交

zrx (https://huggingface.co/z-rx) 于 8 月 4 日

摘要

长时程、实时说话头生成仍面临延迟与质量之间的权衡挑战：低效的多步扩散模型无法支持流式生成，而实时自回归方法则存在误差累积和身份漂移问题。为解决这一缺陷，我们提出了 LeapTalk，一个新颖的框架，能够在单次前向步骤中实现稳定且实时的说话头生成，并可扩展到任意长度的视频。我们方法的核心是一种单步桥接蒸馏方案。一方面，我们摒弃传统的噪声到数据范式，引入基于布朗桥的数据到数据输运公式。通过持久参考锚定，该策略有效缓解身份漂移并增强长期时间稳定性。另一方面，为了从预训练的扩散教师模型平滑迁移知识到学生桥接模型，我们探索了一种异构蒸馏框架，采用 SNR 对齐的时间变换 Φ(τ)，弥合两种模型之间的功能差异。此外，我们提出了一种音频驱动的无分类器引导机制，以在极端步数缩减下保持细粒度的唇形同步。大量实验证明，我们的方法仅需 1 步即可实现高达 200 FPS 的高保真且时间一致的视频生成，在效率和稳定性上均显著优于现有方法。项目页面：https://zhangrongxiang.github.io/leaptalk-page/

查看 arXiv 页面 (https://arxiv.org/abs/2608.00079)查看 PDF (https://arxiv.org/pdf/2608.00079)项目页面 (https://zhangrongxiang.github.io/leaptalk-page/)GitHub3 (https://github.com/zhangrongxiang/LeapTalk)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.00079)

将此论文放入你的 agent 中：

hf papers read 2608\.00079

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

暂无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2608.00079 即可从该页面链接到此论文。

引用此论文的数据集 0

暂无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.00079 即可从该页面链接到此论文。

引用此论文的 Space 0

暂无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2608.00079 即可从该页面链接到此论文。

包含此论文的收藏集 0

暂无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从该页面链接到此论文。