论文页面 - LiveAnimate：稳定长时流式人体动画实时生成

来源：https://huggingface.co/papers/2608.11745

摘要

LiveAnimate 通过一个 140 亿参数的视频扩散 Transformer，结合专门训练、有界注意力缓存和序列并行，实现了实时、长时的姿态驱动人体动画。

姿态驱动人体动画从单张参考图像和一段驱动姿态流中合成为目标人物的视频。实时生成对于直播、远程呈现和虚拟化身等交互式应用至关重要，然而基于扩散的系统生成每个片段需要数分钟到数小时，无法实现响应式交互。我们提出了 LiveAnimate，据我们所知，这是首个将实时流式生成与十亿级稳定长时生成相结合的动画系统，其基于一个 140 亿参数的视频扩散 Transformer（DiT）(https://huggingface.co/papers?q=Diffusion%20Transformer%20(DiT))。两阶段训练流程首先通过参考锚定教师强制适应（Reference-Anchored Teacher-Forcing Adaptation）(https://huggingface.co/papers?q=Reference-Anchored%20Teacher-Forcing%20Adaptation) 将预训练的双向 DiT 适配为块因果自回归生成器，然后通过块级自强制蒸馏（Block-wise Self-Forcing Distillation）(https://huggingface.co/papers?q=Block-wise%20Self-Forcing%20Distillation) 将采样预算减少到三步。为了在扩展流中保持外观，我们引入了姿态检索汇点注意力（PR-Sink）(https://huggingface.co/papers?q=Pose-Retrieval%20Sink%20Attention%20(PR-Sink))，这是一种有界 KV 缓存机制，结合了静态汇点（Static Sink）(https://huggingface.co/papers?q=Static%20Sink)（永久锚定第一个生成块）、动态汇点（Dynamic Sink）(https://huggingface.co/papers?q=Dynamic%20Sink)（保存一个姿态检索的历史块）以及三槽滚动窗口（Rolling Window）(https://huggingface.co/papers?q=Rolling%20Window)。当姿态重复出现时，PR-Sink 无需保留整个序列即可恢复相关外观上下文，因此内存和每块延迟不随流时长而改变。结合 Ulysses 序列并行 (https://huggingface.co/papers?q=Ulysses%20sequence%20parallelism) 和算子融合 (https://huggingface.co/papers?q=operator%20fusion)，这些设计使得在两张 NVIDIA H100 GPU 上实现 19.63 FPS 的流式推理。在三分钟基准测试中，LiveAnimate 从最初 30 秒到最后一分钟保持几乎恒定的感知质量和身份一致性，而现有系统在同一测试中要么严重退化，要么需要数小时的离线计算。这些结果确立了交互式全身动画在质量、延迟和时长方面的新基点。

查看 arXiv 页面 (https://arxiv.org/abs/2608.11745)查看 PDF (https://arxiv.org/pdf/2608.11745)项目页面 (https://liveanimate.github.io/)GitHub7 (https://github.com/liveanimate/LiveAnimate)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.11745)

在您的 agent 中获取此论文：

hf papers read 2608\.11745

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2608.11745 以从此页面链接。

引用此论文的数据集0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.11745 以从此页面链接。

引用此论文的 Space0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2608.11745 以从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。