论文页面 - HOMIE：基于多模态智能增强的人-物中心视频个性化

来源: https://huggingface.co/papers/2607.18217

摘要

以人为中心的视频个性化（HOCVP）是主体驱动视频生成中的核心任务。然而，现有方法存在两个关键局限性。首先，大多数专注于主体间个性化的方法在保持主体保真度与准确的人-物交互模式之间仍难以取得平衡，尤其是当物体代表抽象概念（如徽标）时。其次，虽然主体内参考（如OCR映射、多视图输入）有望提升主体保真度，但大多数现有工作缺乏理解此类隐式对应关系的机制。为了应对这两大挑战，我们提出了HOMIE，一个以统一方式处理主体间和主体内输入设定的HOCVP框架。与先前方法相比，HOMIE提出了一种更好的多模态大语言模型（MLLM）集成策略，能够在不牺牲文本编码器可控性或引起昂贵的重新对齐的情况下，提取参考级关系的知识。具体来说，我们在自注意力中引入全局多模态引导，以更好地对齐MLLM导出的语义特征与VAE令牌。此外，我们提出模态参考嵌入，用于区分来自MLLM特征和VAE令牌的令牌，并关联主体内参考图像令牌。大量实验验证了我们的方法在各种HOCVP任务上达到了最先进的性能。项目页面：https://yiyangcai.github.io/homie-page.github.io/

查看 arXiv 页面 (https://arxiv.org/abs/2607.18217) 查看 PDF (https://arxiv.org/pdf/2607.18217) 项目页面 (https://yiyangcai.github.io/homie-page.github.io/) GitHub11 (https://github.com/YIYANGCAI/HOMIE) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.18217)

在您的代理中获取此论文：

hf papers read 2607.18217

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.18217，以从该页面链接。

引用该论文的数据集0

没有数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.18217，以从该页面链接。

引用该论文的 Spaces0

没有 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2607.18217，以从该页面链接。

包含该论文的收藏0

没有收藏包含此论文

请将此论文添加到一个收藏 (https://huggingface.co/new-collection) 中以从该页面链接。