FashionChameleon: 迈向实时交互式人体-服装视频定制

Hugging Face Daily Papers 论文
video-generation garment-customization real-time teacher-student-distillation in-context-learning motion-coherence computer-vision

摘要

FashionChameleon 是一个实时交互式框架，用于人体-服装视频定制，采用教师-学生蒸馏和上下文学习技术，实现多服装切换并保持运动连贯性，在单个GPU上达到23.8 FPS。

以人为中心的视频定制，尤其是在服装层面，已展现出显著的商业价值。然而，现有方法无法支持低延迟和交互式服装控制，而这对于电子商务和内容创作等应用至关重要。本文研究如何仅使用单服装视频数据，在实现交互式多服装视频定制的同时保持运动连贯性。我们提出了 FashionChameleon，一个用于自回归视频生成中人体-服装定制的实时交互式框架，用户可以在生成过程中交互式切换服装。FashionChameleon 包含三项关键技术：（i）我们不在多服装视频数据上训练，而是使用单一参考-服装对，通过上下文学习训练教师模型。通过保留图像到视频的训练范式，同时强制参考图像与服装图像不匹配，模型被激励在单服装切换过程中隐式保持连贯性。（ii）为了实现生成过程中的一致性和效率，我们引入了带上下文学习的流式蒸馏，该方法通过上下文教师强制对模型进行微调，并通过梯度加权分布匹配蒸馏提高外推一致性。（iii）为了将模型扩展到交互式多服装视频定制，我们提出了无需训练的 KV 缓存重调度，包括服装 KV 刷新、历史 KV 撤回和参考 KV 解耦，以实现服装切换同时保持运动连贯性。我们的 FashionChameleon 独特地支持交互式定制和一致的长视频外推，同时在单个 GPU 上以 23.8 FPS 实现实时生成，比现有基线快 30-180 倍。
查看原文
查看缓存全文

缓存时间: 2026/05/18 06:24

论文页面 - FashionChameleon：迈向实时交互式人衣视频定制

来源：https://huggingface.co/papers/2605.15824

摘要

FashionChameleon 通过教师-学生蒸馏和上下文学习技术，在保持运动一致性的同时，实现了实时交互式多服装视频定制。

以人为中心的视频定制，尤其是服装级别的定制，已展现出显著的商业价值。然而，现有方法无法支持低延迟和交互式服装控制，而这对于电子商务和内容创作等应用至关重要。本文研究如何在仅使用单服装视频数据的情况下，实现保持运动一致性的交互式多服装视频定制。我们提出 FashionChameleon，一个面向自回归视频生成中实时交互式人衣定制的框架，用户可在生成过程中交互式切换服装。FashionChameleon 包含三项关键技术：(i) 我们不在多服装视频数据上训练，而是通过上下文学习，在单张参考-服装对上训练一个教师模型。通过保留图像到视频的训练范式，同时强制参考图像与服装图像之间不匹配，模型被鼓励在单服装切换时隐式保持一致性。(ii) 为实现生成过程中的一致性和高效性，我们引入结合上下文学习的流式蒸馏，该方法通过上下文教师强制对模型进行微调，并利用梯度重加权分布匹配蒸馏提升外推一致性。(iii) 为将模型扩展到交互式多服装视频定制，我们提出免训练的 KV 缓存重调度方案，包括服装 KV 刷新、历史 KV 撤回和参考 KV 解耦，从而在保持运动一致性的同时实现服装切换。我们的 FashionChameleon 独特地支持交互式定

相似文章

Image interaction with GPT-Live

YouTube AI Channels

用户通过GPT-Live实时展示两套穿搭，AI针对见家长场景给出具体服装建议，展示了多轮图像理解与场景化建议能力。