用于序列恢复的证据对齐离散专家局部组合

# 基于证据对齐的离散专家局部组合用于序列修复  
来源：https://arxiv.org/html/2609.05801  
Mohammad Panahazari  
单位：塔夫茨大学电气与计算机工程系，梅德福，马萨诸塞州  
Usman A. Khan  
单位：波士顿学院，切斯纳特山，马萨诸塞州  
Shuchin Aeron  
单位：塔夫茨大学电气与计算机工程系，梅德福，马萨诸塞州  
电子邮箱：[email protected], [email protected], [email protected]  

###### 摘要  
文档可被建模为离散的标记序列，可视为由不同领域的文本组合生成。例如，README文件会在散文、代码和配置之间切换。当此类文档受损且仅有冻结的领域专家可用时，修复它需要同时决定缺失内容是什么以及在每个位置应信任哪个专家，且该过程在测试时进行，无需区域标签或经过训练的路由。我们提出证据对齐的局部组合方法，该方法根据损坏观测在给定损坏模型下的边际证据，推断出针对专家的软性、逐位置的权重；该证据来自专家自身的去噪损失，并通过跨位置平滑权重得到。由于权重是软性的，当真实组合是混合时，它会恢复混合状态；当单一专家足够时，它会集中于该专家。在类别模拟器、字节级专家以及从1.31B离散流匹配模型微调的专家上，推断出的权重在自然混合的科学文档上以0.85的准确率跟踪真实区域，在区域词汇不相交的构造混合体上达到0.98的准确率。当专家确实不同时，修复效果优于单一全局权重；当专家趋同则收敛于全局权重，并跟踪专家分离度的度量。代码可在以下地址获取：https://github.com/panahazari/evidence-aligned-local-composition。  

## 1 引言  
真实文档混合了多种内容。软件README交错散文、代码和配置；科学文章交错散文和数学；数据处理脚本在宿主语言中嵌入查询。当此类文档因不完美的光学字符识别、有损信道或数据整理过程中的激进过滤而受损时，修复它意味着恢复缺失的符号。我们将此信道称为损坏通道或前向模型，并假设可以访问它，表示为基于真实输入的损坏输出的似然性。针对每种内容的强大生成先验已作为冻结的、独立训练的模型存在，但没有一个模型能很好地服务整个文档：最佳专家随位置变化，且区域没有标签。我们研究如何在测试时通过组合冻结的领域专家来修复此类文档，即在每个位置推断缺失的符号以及应信任哪个专家组合或组合方式，无需位置标签或训练的模型（即用于组合的路由）。我们不假设每个位置对应一个单一专家。我们推断的对象是每个位置的专家组合；路由到单个专家是组合集中于单纯形单个顶点的特例。这提出了两个耦合问题：必须推断缺失内容，同时还需推断应指导每个位置的专家组合。专家的加权乘积（或等效地，其对数概率的加权和）提供了一种组合模型的自然方式[11, 19, 6]。然而，大多数现有方法为整个序列分配每个专家一个权重[22]，这在专家能力大致均匀时有效，但在首选组合随位置变化时则不适用。局部位置权重提供了所需的灵活性，但通常通过监督或训练的路由器提供，而无需训练的测试时混合体则为整个序列固定一个权重，该权重从输入自身的似然中选择[22, 41]；表1将这些方法置于定义我们设置的三个轴线上。我们的问题不同：能否在测试时从损坏观测和给定的损坏通道推断出软的专家权重场，而无需区域标签或路由器训练？我们通过边际证据来研究这个问题：位置相关的权重参数化一个组合先验，而观测的似然决定了它们应如何变化[21]，这联系到连续扩散先验的证据优化和模型选择[38, 39]，但将权重局部化且离散化。由此产生的更新将每个专家对观测的拟合度与其在当前组合下的拟合度进行比较，这是一个后验减先验的差值，我们将在第4节精确描述。由于精确更新无法直接计算，我们进行了近似，这正是“证据对齐的局部组合”名称的由来。  

表1：方法沿我们三个轴线及其数据域。*局部*：权重在一个输入内随位置变化，而非对整个输入应用单一权重。*测试时*：权重在推理时从输入本身设定，无需事先训练路由器或权重预测器。*损坏感知*：从给定信道下的损坏观测推断。wPoE在测试时从单个数据点优化单个标量，因此是测试时的但非局部的。  

##### 主要贡献  
- **基于损坏观测证据的局部组合**：我们定义了一个归一化序列能量模型，该模型在每个位置具有单纯形值的专家权重，并通过边际证据的指数梯度更新在测试时推断，该更新跨位置平滑。证据梯度比较相同局部专家能量的后验和先验期望。  
- **去噪损失作为局部能量**：我们使用专家的去噪损失对候选序列进行评分。对于掩码源专家，调度加权的总体损失是序列负对数似然的上界；一个无限制的贝叶斯最优去噪器恢复支持上下文上相关的任意阶条件分解。部署的未加权分数仍然是一个代理。  
- **无需监督的场恢复**：通过广泛的实验，我们证明，在无区域标签的情况下，推断的场与真实区域紧密匹配，并在构造的混合体上比独立优化的全局权重改善了修复；在自然文档上，收益跟踪专家的区分程度，在混合散文和数学的科学文本上优于全局家族，当专家趋同时与之持平。  

## 2 相关工作  

#### 组合与融合专家  
通过密度相乘或对数分数相加来组合模型，是专家乘积[11]和组合或叠加扩散[19, 6, 7, 32]的基础；冻结的语言模型类似地无需训练即可融合或合并，如PackLLM的困惑度优化全局混合[22]、DEMix的无参域后验[10]、wPoE的用于压缩的单测试时标量[41]，以及输出或参数级别的集成与合并[37, 16, 34]。所有这些都为整个输入分配一个权重。位置相关的权重则通过监督或（在同时进行的工作中）由离散扩散专家的分解组合从置信边界产生[14]。相比之下，我们的权重随位置变化，并在测试时从损坏观测和给定通道推断，无需路由器训练或区域标签。  

#### 离散扩散先验与逆问题  
我们的专家是离散扩散和流匹配模型[1, 2, 20, 29, 31, 8, 18]，目前已扩展到数十亿参数[24, 9, 25, 40]；对于掩码源吸收扩散，调度加权的去噪目标是序列负对数似然的上界，而贝叶斯最优去噪器恢复干净数据条件及其期望的任意阶自回归分解[27, 36, 12]。在此类先验下修复观测是扩散逆问题的主题，在连续设置中[3, 17, 38]以及最近针对离散状态空间定制的引导[26, 30]，同时边际证据估计也驱动模型选择[39, 21]。我们的损坏通道扮演前向算子的角色，但我们推断的量是冻结专家上的局部组合场，而非单一的引导重建。  

## 3 问题表述  

#### 问题设置  
令 $\mathcal{V}$ 为有限词表，$x=(x_{1},\dots,x_{L})\in\mathcal{V}^{L}$ 为清洁序列，其中 $\ell\in[1:L]$ 是位置索引。目标是从 $y$ 恢复 $x$。为此，我们给定 $m$ 个生成专家 $q_{1},\dots,q_{m}$，每个定义 $\mathcal{V}^{L}$ 上的分布。这些专家是上下文相关的：位置条件 $q_{i}(x_{\ell}\mid x_{\setminus\ell})$ 对 $\mathcal{V}$ 依赖于其他位置 $x_{\setminus\ell}$，如我们使用的离散流匹配模型。位置分解的专家（其条件忽略 $x_{\setminus\ell}$）是我们在式 (1) 中用于局部池的特例。专家在组合期间保持冻结，且其训练数据不可用。我们仅观测到 $y$，它由 $x$ 通过给定的损坏通道 $p_{\mathrm{c}}(y\mid x)$ 产生。在*掩码通道*中，每个标记以概率 $r$ 被独立替换为符号 $\mathtt{[MASK]}\notin\mathcal{V}$；在*替换通道*中，它被替换为 $\mathcal{V}$ 的均匀抽样。两个通道在位置上分解，因此 $p_{\mathrm{c}}(y\mid x)=\prod_{\ell}p_{\mathrm{c}}(y_{\ell}\mid x_{\ell})$。我们将候选标记 $v$ 的局部似然表示为 $c_{\ell}(v)=p_{\mathrm{c}}(y_{\ell}\mid x_{\ell}=v)$。  

#### 局部组合  
我们在每个位置附加一个单纯形值权重。具体地，*组合场*为 $\lambda_{1:L}=(\lambda_{1},\dots,\lambda_{L})$，其中 $\lambda_{\ell}\in\Delta_{m}=\{\lambda\in\mathbb{R}_{+}^{m}:\sum_{i}\lambda_{i}=1\}$。如果专家 $i$ 在位置 $\ell$ 处对标记赋以类别分布 $\pi_{i,\ell}$，它们的局部对数线性池为  
$$
\pi_{\lambda_{\ell},\ell}(v)=\frac{\exp\big(\textstyle\sum_{i}\lambda_{\ell,i}\log\pi_{i,\ell}(v)\big)}{\sum_{u\in\mathcal{V}}\exp\big(\textstyle\sum_{i}\lambda_{\ell,i}\log\pi_{i,\ell}(u)\big)}. \tag{1}
$$  
顶点 $\lambda_{\ell}=e_{i}$（$\mathbb{R}^{m}$ 的第 $i$ 个标准基向量）将位置路由到单个第 $i$ 个专家，而内部点则组合多个专家。我们说一个序列具有*区域结构*，当其位置划分为连续块，每个块由单个专家生成；此时场在块内部接近顶点，在边界处混合。区域标签从未提供给该方法。在存在的情况下，我们仅用它们来评估推断的场（第5节）。式 (1) 的局部池一次组合一个位置的专家，并且仅当专家是位置分解时定义良好。我们的专家是上下文相关的，因此标记的条件依赖于序列的其余部分，而其局部条件的乘积可能不是有效的联合分布。因此，我们在整个序列的级别上组合专家，并将局部池作为位置分解的特例恢复。  

#### 序列级组合  
式 (1) 的局部池对于位置分解的专家是足够的。此处上下文相关的专家是上面定义的相同的 $q_{1},\dots,q_{m}$；没有单独的模型集。然而，对于这些专家，其逐位置条件的乘积可能不产生归一化的联合分布。因此，我们直接定义序列模型。令 $\phi_{i,\ell}(x)\in\mathbb{R}$ 表示专家 $i$ 在序列 $x$ 中位置 $\ell$ 处赋予的能量；第4节稍后构建其实用代理。得到的归一化对数线性先验为  
$$
\begin{aligned}
Q_{\lambda}(x)&=\frac{1}{Z(\lambda)}\exp\Big(\textstyle\sum_{\ell=1}^{L}\sum_{i=1}^{m}\lambda_{\ell,i}\,\phi_{i,\ell}(x)\Big),\\
Z(\lambda)&=\textstyle\sum_{x^{\prime}\in\mathcal{V}^{L}}\exp\Big(\sum_{\ell,i}\lambda_{\ell,i}\,\phi_{i,\ell}(x^{\prime})\Big).
\end{aligned} \tag{2}
$$  
观测的边际似然为 $p_{\lambda}(y)=\sum_{x}p_{\mathrm{c}}(y\mid x)Q_{\lambda}(x)$。当所有专家都是位置分解且 $\phi_{i,\ell}(x)=\log\pi_{i,\ell}(x_{\ell})$ 时，$Q_{\lambda}$ 分解并简化为式 (1) 中的局部构造。对于上下文相关的专家，式 (2) 下的证据仍然是我们的目标，尽管实际采样器未知是否从 $Q_{\lambda}$ 中抽取。第4节将明确此近似。  

#### 目标  
给定