论文页面 - StreamChar：基于解耦编排的长时序流式角色音视频生成

来源：https://huggingface.co/papers/2605.25659

摘要

StreamChar 通过基于 LLM 的协调器与联合音视频 DiT，将长时序编排与短窗口去噪分离，实现角色动画的实时流式音视频生成；通过两阶段蒸馏实现高效部署，并借助记忆机制保持视觉一致性。

实时流式联合音视频生成要求生成器能够朗读指定的文本、跨片段保持视觉身份，并在严格的播放预算内运行。这些需求难以同时满足：逐片段的自回归生成会累积文本-音频错位与视觉漂移，而低延迟所需的少步蒸馏往往会降低空间多样性与时间质量。我们提出 StreamChar，一种将长时序编排与短窗口音视频去噪分离的流式框架。基于 LLM 的协调器利用文本和历史上下文生成帧对齐的音频条件，联合音视频 DiT 在参考帧与运动帧条件下执行局部双向去噪。为高效部署，我们采用两阶段蒸馏流水线：首先压缩采样器，然后在在线片段展开下微调学生模型。在展开训练期间，进度感知指针将部分文本与生成的音频对齐；汇合片段记忆提供持久视觉锚点，减少长时序漂移。在短片段与长时序协议上的实验表明，StreamChar 在单张 H100 GPU 上实时运行，相比近期联合与音频驱动基线，在文本保真度、音视频同步、视觉质量和流式稳定性方面提供了有利的系统级权衡。

查看 arXiv 页面 (https://arxiv.org/abs/2605.25659)查看 PDF (https://arxiv.org/pdf/2605.25659)项目页面 (https://humanaigc.github.io/StreamChar_page/)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.25659)

在你的 agent 中获取此论文：

hf papers read 2605.25659

没有最新 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.25659 即可从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.25659 即可从此页面链接。

引用此论文的 Space0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2605.25659 即可从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接。