论文页面 - SCAIL-2：通过端到端上下文条件实现统一受控角色动画

来源：https://huggingface.co/papers/2606.10804

摘要

SCAIL-2 通过直接从驱动视频传递运动，无需中间表示，采用统一任务分解和合成数据生成，实现端到端的角色动画。

受控角色动画需要将运动从驱动序列传递到参考角色。先前的工作严重依赖中间表示，包括表示运动的姿态骨架或表示环境的遮罩背景，这不可避免地导致信息丢失。为解决这一问题，我们提出 SCAIL-2，一个绕过这些中间表示，实现端到端角色动画（https://huggingface.co/papers?q=end-to-end%20character%20animation）的框架。通过直接将驱动视频（https://huggingface.co/papers?q=driving%20videos）连接到序列中，模型可以从输入视频中获取所有所需的视觉信息。为解决端到端数据缺乏的问题，我们将角色动画的子任务与解耦条件（https://huggingface.co/papers?q=decoupled%20conditions）统一起来，然后构建一个管道来合成 MotionPair-60K（https://huggingface.co/papers?q=MotionPair-60K），这是一个包含角色动画异构任务的端到端运动传递（https://huggingface.co/papers?q=motion%20transfer）数据集。为实现统一，我们利用上下文遮罩条件（https://huggingface.co/papers?q=in-context%20mask%20conditioning）和模式特定 RoPE（https://huggingface.co/papers?q=mode-specific%20RoPE）作为超越文本指令和原始视觉信息的软引导。为解决合成数据在细节区域的差异，我们提出偏差感知 DPO（https://huggingface.co/papers?q=Bias-Aware%20DPO）来构建偏好项以减轻误差。大量实验表明，我们的方法在各种角色动画任务中显著优于现有最先进方法。合成数据的大部分子集以及模型权重将在我们的项目页面发布：https://teal024.github.io/SCAIL-2/。

查看 arXiv 页面（https://arxiv.org/abs/2606.10804）查看 PDF（https://arxiv.org/pdf/2606.10804）项目页面（https://teal024.github.io/SCAIL-2/）GitHub95（https://github.com/zai-org/SCAIL-2）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.10804）

在你的代理中获取此论文：

hf papers read 2606.10804

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型与此论文关联

请在一个模型的 README.md 中引用 arxiv.org/abs/2606.10804 以从本页链接。

引用此论文的数据集0

没有数据集与此论文关联

请在一个数据集的 README.md 中引用 arxiv.org/abs/2606.10804 以从本页链接。

引用此论文的 Spaces0

没有 Space 与此论文关联

请在一个 Space 的 README.md 中引用 arxiv.org/abs/2606.10804 以从本页链接。

包含此论文的收藏0

没有收藏包含此论文

请将此论文添加到一个收藏（https://huggingface.co/new-collection）以从本页链接。