标签
HOMIE是一个用于人-物中心视频个性化的框架,它整合了MLLM特征以提高主体保真度和交互模式,达到了最先进的性能。
本文提出了一种新颖的方法,将扩散模型以多模态大语言模型(MLLMs)为条件,用于主体驱动图像生成,使用基于VAE的身份条件化和双层聚合模块,提高语义理解和身份保持,同时减轻复制粘贴伪影。