Giraffe: 一种从隐藏文本表示到视觉嵌入的映射架构，用于高效图形设计

# 长颈鹿：从隐藏文本表示到视觉嵌入的映射架构，用于高效图形设计
来源：https://arxiv.org/html/2608.23970
###### 摘要

多模态大语言模型（MLLMs）在理解和解读多媒体内容方面取得了显著进展。然而，它们生成媒体的能力仍然有限。近期的一些方法试图通过将词元序列的隐藏表示转换为视觉模型的嵌入空间或直接转换为原始图像数据来弥合这一差距。然而，这些方法通常使用多个专用词元来表示每张图像，这显著增加了输入长度。这对于图形设计生成等任务构成了一个重大限制，因为其输出通常涉及文本、多张图像和布局信息之间数千个词元的无缝融合。为解决这一挑战，本文提出了一种新颖的架构，能够使用每张图像仅一个[IMG]词元，将隐藏的词元表示映射到视觉模型（如CLIP ViT-L/14）的嵌入空间。该架构采用两个浅层多层感知机（MLP）块，每个块包含一个独立的压缩模块，随后是一个共享的扩展模块，并使用六种不同的损失函数进行训练。其中一个块在训练期间辅助另一个块，而在推理时则被省略，从而实现了轻量化的解决方案。该架构在图像到设计和文本到设计的生成任务中均表现出强劲的性能。

## 1 引言

多模态大语言模型（MLLMs）在涉及视觉理解和解读的任务中取得了显著进步，例如视觉问答（VQA）、图像描述和目标定位[21, 2, 13, 12, 22, 24]。然而，这些方法主要专注于处理多模态输入，但仅生成文本输出。这限制了它们在需要同时生成文本和视觉内容的任务中的有效性，例如图形设计生成。图形设计由多种多模态元素组成，包括文本、图像、SVG形状、颜色和空间布局，它们共同传达意义和视觉吸引力。

（参见说明）图1：所提架构的示例结果。该模型能够从文本或图像输入生成视觉连贯且风格一致的图形设计。近期的方法探索了扩展语言模型以支持多模态输出的生成。在FROMAGe[10]中，通过引入两个可训练的线性层来增强一个冻结的语言模型，从而引入了图像检索能力。第一个线性层映射[RET]词元的隐藏表示，而第二个线性层映射相应图像的视觉嵌入。这两个嵌入通过对比学习[14]进行对齐，使模型能够将文本查询与相关的视觉内容关联起来。然而，当设计需要的主题、风格或色彩主题在媒体库中不可用，或者用户无法访问足够大的媒体集合时，这种方法就显得力不从心。

GILL[9]扩展了FROMAGe的能力，使其不仅能够检索媒体，还能生成媒体。这是通过一个称为GILLMapper的映射网络实现的——一个包含编码器和解码器组件的Transformer。GILLMapper将语言模型生成的[rIMG]词元的隐藏表示转换为Stable Diffusion[17]文本编码器的嵌入空间。两个嵌入空间之间的对齐是通过均方误差（MSE）损失学习得到的。在推理时，图像通过将映射后的嵌入传递给扩散模型来生成。

类似地，Emu[18]通过增强语言模型并引入一个称为Causal Transformer的模块来实现媒体生成，该模块将视觉输入转换为N个[IMG]视觉词元。模型被训练以自回归方式预测这些视觉词元，使用预测嵌入与Causal Transformer生成的真实词元之间的MSE损失。在推理时，生成的视觉词元被传递给一个经过微调的Stable Diffusion模型，该模型明确以生成的嵌入为条件来解码图像。

在Chameleon[19]中，图像使用1024个离散词元表示，这些词元来自一个大小为8192的码本，由一个学习的图像分词器生成。这些图像词元与文本词元一起用于训练模型进行自回归预测。在推理时，一个学习的反分词器用于从生成的图像词元中重建图像。

所有这些方法的一个共同特点是使用多个视觉词元来表示图像。事实上，[9]进一步研究了词元数量的影响，并发现减少词元数量通常会导致性能下降，因为它为映射网络产生的输入更短且表达能力更弱。这一问题在图形设计生成任务中变得尤为突出，因为单个设计可能包含多张图像，并且通常表示为文本和图像词元的长交错序列，以捕获文本、图像、SVG形状、布局和视觉属性等元素。因此，使用多个词元表示每张图像可能导致整个词元序列变得非常长，常常接近或超过模型的最大词元容量。此外，基于Transformer架构的有限注意力范围使得捕获如此长序列的长期依赖关系变得具有挑战性，从而限制了模型生成连贯且一致的设计的能力。

一些方法探索了直接生成图像，而不仅仅依赖嵌入。例如，Transfusion[26]利用VAE[8]将图像编码为潜在表示，然后在该潜在空间内应用扩散过程。在这种设置中，文本使用Transformer进行自回归建模，而图像生成则由基于扩散的目标引导。另一方面，DreamLLM[3]通过使用一个冻结的Stable Diffusion解码器实现了直接图像生成，该解码器由语言模型产生的语义查询引导。这些查询使用分数蒸馏采样（SDS）[15]进行训练，使模型能够将文本提示与图像生成目标对齐。与上述方法类似，这两种方法仍然依赖于每张图像的多向量或多词元表示，这可能限制了它们在设计生成任务中的有效性。

（参见说明）图2：所提Giraffe架构概览。它能够仅使用单个[IMG]词元，实现从隐藏词元表示到视觉模型（如CLIP ViT-L/14）嵌入空间的映射。这通过两个浅层MLP块实现，每个块包含一个独立的压缩模块，随后是一个共享的扩展模块，并使用六种不同的损失函数进行训练（左）。辅助MLP块在训练期间辅助主块学习映射，而在推理时被忽略（右），从而实现更轻量化的解决方案。本文提出了一种新颖的架构，能够将语言模型的隐藏词元表示映射到视觉模型（如CLIP ViT-L/14[16]）的嵌入空间，每张图像仅使用单个[IMG]词元。这使得语言模型能够在长序列中整合文本和图像词元，从而创建连贯的图形设计。所提出的映射架构因其L形结构而被命名为Giraffe，由两个浅层MLP块组成。每个块具有一个独特的压缩模块，随后是一个连接两者的共享扩展模块。一个块主要负责处理映射，而另一个块在训练阶段辅助主块，在帮助主块实现其映射目标方面发挥着至关重要的作用。在推理时，辅助块被移除，从而实现更轻量化的解决方案。由于生成的嵌入遵循已知分布，因此无需微调扩散模型。可以直接使用现有的预训练模型，如带有CLIP VIT-L/14 IP适配器[23]的FLUX[11]来生成图像。

大量实验突出了其在文本到设计生成和图像到设计任务中的强劲性能。在文本到设计生成任务中，可以看到生成的图像与提供的提示相一致，同时保持了图形设计的整体风格、调色板和语义，从而产生美观的结果。同样，在图像到设计任务中，生成的图形设计与参考图像高度相似。总体而言，观察到的行为表明所提架构有效地在单个[IMG]词元中捕获了所有图像相关信息。图1展示了每个任务的一个示例。需要注意的是，虽然本文主要关注图像，但所提出的架构具有灵活性，可以适应包括音频和视频在内的各种媒体。

## 2 方法

本节描述了模型使用的图形设计表示、所提出的Giraffe架构、训练目标以及推理过程。

### 2.1 图形设计结构

图形设计由多种元素组成，包括文本、图像和SVG形状，它们共同传达思想并创造视觉和谐。每个元素由一组属性定义，这些属性决定了其结构和外观。这些属性包括位置属性，如上、左、宽、高和层叠顺序，以及视觉特征，如颜色、透明度和旋转。某些属性也特定于某些元素类型。例如，文本元素可能包括文本内容本身、字体族、字体大小以及粗体或斜体等样式选项。通过将这些特定于元素的属性以文本形式表示，图形设计可以表示为文本和图像组件的长序列结构，其中每个$x_t$和$x_v$分别表示一个文本或图像组件。包含单独的图像组件是必要的，因为视觉内容无法仅通过文本完全捕获。

### 2.2 长颈鹿架构

遵循先前的工作[21, 13, 4, 25, 5]，每张图像$x_v$的视觉嵌入被提取并投影到与词嵌入相同的维度空间，使用以下变换：

$z_v = v_\phi(x_v) \in \mathbb{R}^{d}, \quad (1)$
$u_v = W z_v \in \mathbb{R}^{m},$

其中$W$是可学习的线性映射，$v_\phi(\cdot)$是预训练且冻结的视觉编码器（ViT-L/14）在投影头之前的输出，$m$表示语言模型的输入嵌入维度。然后，输入序列中的每个$x_v$被替换为一个特殊的[IMG]词元，其对应的词嵌入被替换为$u_v$。

为了训练模型理解和生成多模态内容，模型使用标准的下一个词元预测目标进行优化。具体来说，模型通过交叉熵损失进行微调，以预测每个下一个词元：

$\mathcal{L}_{\text{CE}} = -\frac{1}{M} \sum_{m=1}^{M} \sum_{t=1}^{T_m} \log P_{\psi,W} \left( w_{t}^{(m)} \mid w_{<t}^{(m)} \right), \quad (2)$

其中$M$是批次大小，$T_m$是第$m$个输入序列的长度，$\psi$表示语言模型参数。每个词元$w_t$可以是文本词元或特殊的[IMG]词元。

最后，为了使能图像生成，一个映射网络与语言模型集成，以将每个[IMG]词元解码为其对应的归一化视觉嵌入$\tilde{z}_v$。$\tilde{z}_v$是通过首先对原始视觉嵌入$z_v$进行裁剪以去除极端值，然后应用最小-最大归一化技术将值重新缩放到[-1, 1]范围内获得的。这个映射是通过一个多层感知机（MLP）块学习的，该块包含一个压缩模块$f_{\theta_1}$，随后是一个扩展模块$f'_{\theta_s}$，两个模块均应用SiLU激活函数。然而，$f'_{\theta_s}$的最后一层使用Tanh作为其激活函数。该块的参数通过最小化其输出与$\tilde{z}_v$之间的均方误差（MSE）损失进行优化：

$\mathcal{L}_{\text{b1-MSE}} = \frac{1}{N} \sum_{i=1}^{N} \left( \hat{\tilde{z}}_{\text{v}_i} - \tilde{z}_{\text{v}_i} \right)^{2}, \quad (3)$

$\hat{\tilde{z}}_{\text{v}_i} = f'_{\theta_s} \left( f_{\theta_1} \left( h_{\psi} \left( \text{[IMG]}_i \right) \right) \right),$

其中$h_{\psi} \left( [\text{IMG}]_i \right)$表示语言模型最后一层隐藏层中第$i$个[IMG]词元的表示，$N$表示批次中[IMG]词元的数量。

此外，使用余弦相似度损失来促进预测嵌入与真实值之间的方向对齐：

$\mathcal{L}_{\text{b1-COS}} = \frac{1}{N} \sum_{i=1}^{N} \left( 1 - \frac{g_{\varphi} \left( \hat{\tilde{z}}_{\text{v}_i} \right) \cdot g_{\varphi} \left( \tilde{z}_{\text{v}_i} \right)}{\| g_{\varphi} \left( \hat{\tilde{z}}_{\text{v}_i} \right) \| \| g_{\varphi} \left( \tilde{z}_{\text{v}_i} \right) \|} \right), \quad (4)$

其中$g_{\varphi}(\cdot)$表示预训练且冻结的ViT-L/14视觉编码器的投影头。$g_{\varphi}(\cdot)$应用于预测和目标嵌入，以确保在表示空间中的兼容性。

虽然所提出的MLP块建立了基线映射，但它通常难以有效地学习映射。为了增强该块完全捕获变换的能力，引入了一个辅助MLP块，形成了以其L形结构命名的Giraffe架构。辅助块具有自己的压缩模块$f''_{\theta_2}$，使用SiLU作为激活函数，但与主块共享扩展模块$f'_{\theta_s}$。