论文页面 - LiveEdit: 迈向基于扩散的实时流式视频编辑

来源：https://huggingface.co/papers/2606.26740

摘要

一种新颖的流式视频编辑框架，通过三阶段蒸馏流程和面向AR的掩码缓存，实现了因果、逐帧编辑，具备稳定的长期内容保持和实时响应能力。

流式视频编辑（https://huggingface.co/papers?q=Streaming%20video%20editing）已取得快速发展，但实际部署仍受两大核心问题制约：随时间保持稳定的背景和非编辑区域，以及实现实时交互场景所需的低延迟。与此同时，近期流式视频生成方法大多针对合成任务开发，由于严格的保留要求和区域特定控制，无法直接应用于编辑。在本工作中，我们提出了一种新颖的流式视频编辑（https://huggingface.co/papers?q=streaming%20video%20editing）框架，该框架执行因果、逐帧编辑（https://huggingface.co/papers?q=frame-by-frame%20editing），并具备强大的内容保持（https://huggingface.co/papers?q=content%20preservation）和实时响应（https://huggingface.co/papers?q=real-time%20responsiveness）能力。我们的关键设计是一个三阶段蒸馏流程（https://huggingface.co/papers?q=three-stage%20distillation%20pipeline），逐步将编辑能力从强大的双向基础模型（https://huggingface.co/papers?q=bidirectional%20foundation%20model）转移到高效的单向流式编辑器（https://huggingface.co/papers?q=unidirectional%20streaming%20editor），从而在不牺牲视觉保真度的前提下实现稳定的长期编辑（https://huggingface.co/papers?q=long-horizon%20edits）。为进一步支持实时部署，我们引入了一种面向AR的掩码缓存（https://huggingface.co/papers?q=AR-oriented%20mask%20cache），该缓存在帧间复用区域相关计算，大幅减少冗余处理并加速推理。最后，我们为流式视频编辑（https://huggingface.co/papers?q=streaming%20video%20editing）建立了一个专用基准。广泛评估表明，我们的方法在流式基线中实现了最先进的视觉质量，同时将推理速度（https://huggingface.co/papers?q=inference%20speed）大幅提升至12.66 FPS，使其适用于交互式和增强现实（https://huggingface.co/papers?q=augmented%20reality）应用。

查看 arXiv 页面（https://arxiv.org/abs/2606.26740）查看 PDF（https://arxiv.org/pdf/2606.26740）项目页面（https://arxiv.org/abs/2606.26740）GitHub12（https://github.com/cp-cp/LiveEdit）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.26740）

在您的 agent 中获取此论文：

hf papers read 2606.26740

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接到此论文

在模型的 README.md 中引用 arxiv.org/abs/2606.26740 以从本页面链接。

引用此论文的数据集0

没有数据集链接到此论文

在数据集的 README.md 中引用 arxiv.org/abs/2606.26740 以从本页面链接。

引用此论文的 Spaces0

没有 Space 链接到此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2606.26740 以从本页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集（https://huggingface.co/new-collection）以从本页面链接。