论文页面 - MMCORE：基于表示对齐潜在嵌入的多模态连接

来源：https://huggingface.co/papers/2604.19902
作者：,,,,,,,,,

摘要

MMCORE 是一个统一的多模态图像生成与编辑框架，利用预训练的视觉-语言模型预测语义视觉嵌入，作为扩散模型的条件信号，实现高效、高保真的视觉合成。

我们提出 MMCORE，一个面向多模态图像生成（https://huggingface.co/papers?q=image%20generation）与编辑的统一框架。MMCORE 借助预训练的视觉-语言模型（https://huggingface.co/papers?q=Vision-Language%20Model）（VLM），通过可学习的查询令牌（https://huggingface.co/papers?q=learnable%20query%20tokens）预测语义视觉嵌入（https://huggingface.co/papers?q=semantic%20visual%20embeddings），随后将其作为扩散模型（https://huggingface.co/papers?q=diffusion%20model）的条件信号。这一简洁设计把 VLM 丰富的理解与推理能力高效迁移到视觉生成过程。无需在自回归模型与扩散模型之间做深层融合，也无需从头训练，MMCORE 显著降低计算开销，同时保持高保真合成（https://huggingface.co/papers?q=high-fidelity%20synthesis）。MMCORE 无缝整合文本到图像合成（https://huggingface.co/papers?q=text-to-image%20synthesis）与交错图像生成（https://huggingface.co/papers?q=image%20generation），在空间推理和视觉定位（https://huggingface.co/papers?q=visual%20grounding）等复杂场景中展现稳健的多模态理解（https://huggingface.co/papers?q=multimodal%20comprehension）。全面评估表明，MMCORE 在广泛的文本到图像及单/多图像编辑基准上持续优于最先进基线。

查看 arXiv 页面（https://arxiv.org/abs/2604.19902）
查看 PDF（https://arxiv.org/pdf/2604.19902）
添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2604.19902）

在智能体中获取该论文：

hf papers read 2604.19902

尚未安装最新 CLI？
curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

暂无模型链接此论文
在模型 README.md 中引用 arxiv.org/abs/2604.19902 即可在此页面显示。

引用该论文的数据集 0

暂无数据集链接此论文
在数据集 README.md 中引用 arxiv.org/abs/2604.19902 即可在此页面显示。

引用该论文的 Spaces 0

暂无 Space 链接此论文
在 Space README.md 中引用 arxiv.org/abs/2604.19902 即可在此页面显示。

收录该论文的合集 0

暂无合集收录此论文
将该论文添加到合集（https://huggingface.co/new-collection）即可在此页面显示。