并行图像理解与生成：自校正耦合马尔可夫跳跃过程

# 并发图像理解与生成：自校正耦合马尔可夫跳跃过程  
来源：https://arxiv.org/html/2607.13188 \\uselogo\\correspondingauthor qqdd@google\.com\\reportnumber0001 Armand Comas\\thepaAlexandros Lattas\\thepaStylianos Moschoglou\\thepaPedro VélezGoogle DeepMindAmit RajGoogle DeepMindAaron Germuth\\thepaThabo Beeler\\thepaDimitris SamarasStony Brook UniversityDi Qiu\\thepa  
###### 摘要  
人类认知不区分理解与生成。教师在白板上讲解时，说话和绘图*同时*进行，每种模态相互塑造。在本文中，我们将这种耦合循环引入人工系统。掩码扩散模型（MDMs）非常适合此任务，然而现有的采样器要么交错解码文本和图像，要么在仅共享上一步历史但不在*同一*步内共享另一种模态最新决策的并行分支中独立更新它们；结合MDMs无法重新掩码的特性，跨模态矛盾既无法被检测也无法被修复。我们提出**自校正耦合马尔可夫跳跃过程（SC-CMJP）**，这是一种框架，其中一种模态的转移速率是另一种模态置信度得分（通过跨模态注意力加权）的函数。此外，一个重新掩码跳跃在跨模态证据不利时立即收回承诺。结合SC-CMJP，我们引入**CO2Jump**（**自**校正**耦**合**跳**跃），一种新颖的无训练单遍采样器，用于联合多模态生成。为了训练和评估，我们创建并将发布三个大规模联合多模态生成语料库：**JEdit-1M**、**JMaze-200K**、**JNono-200K**，并配有匹配的分布内和分布外基准。**CO2Jump**在图像理解与编辑以及视觉推理（迷宫和数织求解）上实现了最佳联合性能。该采样器的性能随去噪步数单调提升，证明跨模态耦合的好处沿轨迹*累积*。项目页面：https://coupled-jump.github.io/  
参见图注  
图1：CO2Jump在行动：文本和图像共同创作答案。CO2Jump在图像编辑、迷宫和数织求解上的三条轨迹，展示中间步tt和最终步的联合状态。图像编辑面板突出核心机制：在第tt步，文本分支已开始在文本中为新对象*人物*提交目标图像边界框；到最终步，图像分支已将徒步者*精确*放置于最终确定的框内（我们将生成文本中的边界框叠加到编辑后的图像上）。文本分支*规划*编辑应在何处落地，图像分支在同一去噪轨迹中*执行*该计划——无需第二次前向传播，无需外部接地器。迷宫和数织展示相同的耦合细化模式：在第tt步提交的部分路径和部分单元格填充，在最终步与其文本侧答案汇聚。  
## 1 引言  
当教师在白板上解释想法时，语言和绘图*一同*进行：每句话影响草图，每个新标记影响下一句话。理解与生成并非不同的阶段，而是一个紧密耦合的循环，每种模态在解释展开时持续告知和修正另一种。我们旨在为人工系统实现这一循环，同时产生文本和图像内容而非顺序产生，一种模态*在*生成过程中塑造另一种。虽然我们的方法原则上与模态无关，但本文我们专注于将文本（用于理解）与图像（用于生成）配对。  
掩码扩散模型（MDMs）[austin2021structured, sahoo2024simple, lou2024discrete, shi2024simplified] 非常适合并行多模态生成。与自回归顺序流水线 [deng2025emerging, chen2025janus, xie2026showo] 不同——后者首先解码整个文本推理轨迹，然后将图像合成条件建立在其上——这是一种无法收回早期推理错误的单向流程，MDMs 同时预测所有掩码标记，承认一个清晰的连续时间形式化为马尔可夫跳跃过程 [campbell2022continuous, berghaus2024foundation]，并在覆盖文本和图像标记的统一词汇表 [xin2025lumina, yang2025mmada] 下自然地扩展到多种模态。它们的并行结构使它们原则上成为在单一解码循环中进行联合文本/图像生成的自然框架。  
实际上，现有的 MDM 采样器 [sahoo2024simple, wang2026remasking, tian2026mmadaparallel, chen2026unified, ouyang2026training] 未能实现*真正*的并发联合多模态生成。即使名义上同时解码两种模态的采样器 [chen2026unified, tian2026mmadaparallel] 也将每个去噪步分解，使得文本和图像更新仅依赖于先前的联合状态，而非*在同一*步内；并发性归结为在共享历史上交错。由此产生的轨迹可能会漂移：文本可能承诺图像无法说明的描述，图像可能渲染文本从未描述的内容。雪上加霜的是，标准掩码扩散无法重新掩码 [austin2021structured, campbell2022continuous, sahoo2024simple]；一旦标记被提交，就无法修改。由未耦合的并行解码器引入的跨模态矛盾在采样的剩余部分持续存在。  
我们共同解决这两个问题。我们引入**自校正耦合马尔可夫跳跃过程（SC-CMJP）**，一个用于并发联合多模态生成的通用框架，其中两种模态在*每个*去噪步内主动交叉权衡它们的承诺。一种模态的转移速率成为另一种模态解掩码置信度得分（通过从同一骨干前向传播中提取的跨模态注意力加权）的函数。一种模态的解掩码调度适应另一种模态的置信度。结合 ReMDM [wang2026remasking] 风格的重掩码跳跃，这使解码从单向解掩码提升为双向生灭（解掩码-重掩码）过程，该过程既可以揭示新标记，也可以在跨模态证据不利时收回早期标记。  
与 SC-CMJP 一起，我们设计了无训练的单遍采样器**CO2Jump**（**自**校正**耦**合**跳**跃），它突出了两个核心思想：通过跨模态注意力*耦合*每模态转移速率，以及通过重掩码跳跃*校正*早期承诺。CO2Jump 在冻结的 MDM 上运行，无需架构更改、无辅助评估器，且每步仅一次前向传播。图1 (https://arxiv.org/html/2607.13188#S0.F1) 在我们所有三个基准上展示了 CO2Jump；在图像编辑轨迹中，文本分支为插入对象提交边界框，图像分支填充它。在*同一*步中，文本*规划*编辑应在何处落地，图像分支*执行*该计划。  
为了验证 CO2Jump，我们将其实例化于三个语义难度递增的并发文本和图像任务：在扩展的 ImgEditBench [ye2025imgedit] 协议上进行图像编辑，使用 mAP 风格 [lin2014microsoft] 的接地理解指标，以及两个新的视觉推理任务——迷宫和数织（JMaze 和 JNono）——其中文本和图像逻辑互锁并可通过算法真值联合验证。为了支持训练和评估，我们整理了三个语料库：JEdit-1M、JMaze-200K 和 JNono-200K，我们计划发布所有这些语料库。在所有三个任务中，CO2Jump 一致地改善了两种模态，在并发联合图像理解与生成（尤其是联合性能指标）上优于现有采样方法 [sahoo2024simple, wang2026remasking, tian2026mmadaparallel]。此外，CO2Jump 采样器的性能随去噪步数单调提升。  
总结而言，我们的主要贡献如下：  
- • 我们首次将同时图像理解与生成建模为单一统一随机过程。为此，我们提出自校正耦合马尔可夫跳跃过程，将并行联合多模态生成与内置自校正相结合。  
- • 我们设计了一种新颖的耦合采样器 CO2Jump，用于联合多模态采样，每步仅需一次前向传播。  
- • 我们整理了三个大规模联合生成语料库（JEdit-1M、JMaze-200K、JNono-200K），并配有探测分布内和分布外性能的匹配基准。我们计划向社区发布模型检查点、代码和数据集。  
- • CO2Jump 在与现有采样方法的并发图像理解与编辑以及视觉推理任务上改进了当前最佳。我们的采样器性能随去噪步数单调提升——实证证据表明跨模态耦合的好处沿轨迹*累积*。  
## 2 背景  
### 2.1 掩码扩散模型与重掩码  
掩码离散扩散模型 [austin2021structured, sahoo2024simple, lou2024discrete, shi2024simplified] 通过逐步用特殊吸收状态 m\\boldsymbol{m} 替换标记来破坏干净样本 x∈VL\\mathbf{x}\\in\\mathcal{V}^{L}，并学习反转这种破坏。我们将 campbell2022continuous 的连续时间公式作为默认视角，因为它接纳本文开发的跨模态耦合和重掩码扩展。  
#### 前向过程与 CTMC 等价。  
对于 t∈[0,1]t\\in[0,1] 和单调递减噪声调度 and∈[0,1]\\and\\in[0,1]（其中 α0≈1\\alpha_{0}\\approx 1，α1≈0\\alpha_{1}\\approx 0），前向过程的每个位置边缘分布为 q(zt∣x)=Cat(zt;andx+(1−and)m)，q(\\mathbf{z}_{t}\\mid\\mathbf{x})=\\mathrm{Cat}\\bigl(\\mathbf{z}_{t}; \\ \\and\\,\\mathbf{x}+(1-\\and)\\,\\boldsymbol{m}\\bigr)，(1) 跨位置因子化。相同的动力学接受等价的连续时间马尔可夫链（CTMC）描述：状态通过 x\\mathbf{x} 与 m\\boldsymbol{m} 之间的随机跳跃演变，无穷小速率为 Rt=−α˙tand(I−m1⊤)，\\mathbf{R}_{t}\\;=\\;-\\frac{\\dot{\\alpha}_{t}}{\\and}\\bigl(\\mathbf{I}-\\boldsymbol{m}\\mathbf{1}^{\\!\\top}\\bigr)，(2) 在该速率下，积分转移概率 q(zt=x∣x)=andq(\\mathbf{z}_{t}=\\mathbf{x}\\mid\\mathbf{x})=\\and 精确恢复式 (1) (https://arxiv.org/html/2607.13188#S2.E1)。sahoo2024simple 确定 MDLM 的离散时间吸收态公式与 campbell2022continuous 的 CTMC 公式参数化了同一族边缘分布、后验分布和似然界；我们互换使用这两种视角。  
#### 训练目标。  
去噪网络 xθ\\mathbf{x}_{\\theta} 被训练从 zt\\mathbf{z}_{t} 预测干净状态 x\\mathbf{x}，得到的 NELBO 简化为位置加权交叉熵 [sahoo2024simple, shi2024simplified]： LNELBO∞=Eq,t∫01α˙t1−and∑l=1Llog⟨xθl(zt,t),xl⟩dt。\\mathcal{L}^{\\infty}_{\\text{NELBO}}\\;=\\;\\mathbb{E}_{q,\\,t}\\!\\int_{0}^{1}\\frac{\\dot{\\alpha}_{t}}{1-\\and}\\sum_{\\ell=1}^{L}\\log\\bigl\\langle\\mathbf{x}_{\\theta}^{\\ell}(\\mathbf{z}_{t},t),\\ \\mathbf{x}^{\\ell}\\bigr\\rangle\\,\\mathrm{d}t。(3)  
标准 MDLM 的相应反向后验具有众所周知的重掩码无能 [austin2021structured, campbell2022continuous, sahoo2024simple]：一旦标记被解掩码，后续反向步骤无法重新访问它，因此时间步 tt 处提交的任何错误在轨迹的剩余部分持续存在。  
#### 通过 σt\\sigma_{t} 重掩码。  
ReMDM [wang2026remasking] 通过允许已提交的令牌以每步概率 σt∈[0,1]\\sigma_{t}\\in[0,1] 恢复为 m\\boldsymbol{m} 来修复此问题，得到修改后的反向后验 qσ(zs∣zt,x)={Cat(zs;(1−σt)x+σtm),zt≠mCat(zs;αs−(1−σt)αt1−αtx+1−αs−σtαt1−αtm),zt=m，q_{\\sigma}(\\mathbf{z}_{s}\\mid\\mathbf{z}_{t},\\mathbf{x})=\\begin{cases}\\mathrm{Cat}\\!\\bigl(\\mathbf{z}_{s};\\ (1-\\sigma_{t})\\,\\mathbf{x}+\\sigma_{t}\\,\\boldsymbol{m}\\bigr),&\\mathbf{z}_{t}\\neq\\boldsymbol{m}\\\\[2.0pt] \\mathrm{Cat}\\!\\left(\\mathbf{z}_{s};\\ \\dfrac{\\alpha_{s}-(1-\\sigma_{t})\\alpha_{t}}{1-\\alpha_{t}}\\,\\mathbf{x}+\\dfrac{1-\\alpha_{s}-\\sigma_{t}\\alpha_{t}}{1-\\alpha_{t}}\\,\\boldsymbol{m}\\right),&\\mathbf{z}_{t}=\\boldsymbol{m},\\end{cases} (4) 当 σt≤min(1,(1−αs)/αt)\\sigma_{t}\\leq\\min(1,(1-\\alpha_{s})/\\alpha_{t}) 时保持式 (1) (https://arxiv.org/html/2607.13188#S2.E1) 中的边缘分布，并在 σt=0\\sigma_{t}=0 时恢复 MDLM。重掩码跳跃使前向过程非马尔可夫，但反向保持马尔可夫且可处理 [wang2026remasking]。现有的 σt\\sigma_{t} 调度 [wang2026remasking] 是*模态无关*的——它们仅根据模态内似然性评分重掩码，在联合生成中留下跨模态矛盾未被检测。  
### 2.2 马尔可夫跳跃过程与耦合多模态生成  
马尔可夫跳跃过程（MJP）[campbell2022continuous, berghaus2024foundation] 是一个离散状态空间上的连续时间马尔可夫过程，由速率矩阵 Rt(z,z′)R_{t}(z,z^{\\prime}) 指定；MDM 的 CTMC 视角 [campbell2022continuous, sahoo2024simple, ouyang2026training] 正是这样一个在 VL\\mathcal{V}^{L} 上具有速率矩阵式 (2) (https://arxiv.org/html/2607.13188#S2.E2) 的 MJP。通过 Gillespie 算法 [gillespie1976general, gillespie1977exact] 进行精确反向模拟每次跳跃更新一个位置，在现代序列长度下不可行，因此实际采样器使用 τ\\tau-跳跃 [gillespie2001approximate]——一种同时更新所有位置的并行近似，标准 MDM 反向步骤是其首次离散化 [campbell2022continuous]。  
#### 用于多模态生成的耦合 MJP。  
耦合跳跃过程在化学 [gillespie1977exact] 和 Glauber 动力学 [glauber1963time] 中是经典的，但它们的耦合结构是手动指定的，并且针对物理模拟；基于标准 MJP 的扩散同样将每位置速率视为给定 xθ(zt)\\mathbf{x}_{\\theta}(\\mathbf{z}_{t}) 的条件独立，即使在多模态设置中也是如此。我们转而定义一个*耦合马尔可夫跳跃过程*（CMJP），作用于 zt=(zttext,ztimage)\\mathbf{z}_{t}=(\\mathbf{z}_{t}^{\\texttt{text}},\\mathbf{z}_{t}^{\\texttt{image}})，具有模态特定的速率矩阵 Rta\\mathbf{R}_{t}^{a}，其强度取决于互补模态的隐藏表示和瞬时置信度，通过学习的跨模态注意力进行加权。结合 ReMDM 风格的 σt\\sigma_{t} 跳跃（式 (4) (https://arxiv.org/html/2607.13188#S2.E4)），一种模态的生（解掩码）和灭（重掩码）速率由另一种模态的当前承诺告知，从而在采样时实现局部化的跨模态自校正。  
## 3 相关工作  
#### 离散扩散。  
吸收态离散扩散由 D3PM [austin2021structured] 引入，并细化为得分熵 [lou2024discrete]、简化 ELBO [sahoo2024simple, shi2024simplified] 和任意阶自回归 [ou2024your] 公式。扩展到 LLMs 由 LLaDA [nie2025large]、Dream [ye2025dream7d] 和 SDAR [cheng2025sdar] 推动。解码改进包括块级生成 [arriola2025block]、Top-KK 置信度选择 [nie2025large, kim2025train] 和长度自适应调度 [ou2024your]。多模态扩展使用 VQ-VAE [oord2017neural] 将图像令牌化，并在涵盖文本和图像令牌的统一词汇表上操作 [xin2025lumina, yang2025mmada]。