论文页面 - 现在该由谁来主导解码？追踪可靠轨迹以实现掩码扩散语言模型的集成

来源：https://huggingface.co/papers/2606.16281

摘要

掩码扩散语言模型展现出独特的解码动态，其中可靠轨迹呈现稳定的置信度模式，使得能够基于置信度演化，在不同模型之间传递部分去噪序列的迭代集成方法成为可能。

掩码扩散语言模型 (https://huggingface.co/papers?q=Masked%20Diffusion%20Language%Models)（MDLM）已成为序列生成领域一种独特的范式。随着MDLM在能力和知识覆盖范围上日益多样化，一个关键问题是如何整合它们所拥有的知识。为此，我们首先研究了MDLM独特的解码动态 (https://huggingface.co/papers?q=decoding%20dynamics)。我们发现，成功的生成过程在回答相关位置上表现出稳定的置信度动态 (https://huggingface.co/papers?q=confidence%20dynamics)，而不可靠的轨迹则通常可以通过注入来自其他模型的更有前景的中间状态来纠正。基于这一观察，我们提出了TIE（基于轨迹的迭代集成 (https://huggingface.co/papers?q=Trajectory-based%20Iterative%20Ensembling)），这是一个知识融合框架，其中MDLM迭代地识别可靠的解码轨迹并在模型间进行接力传递。TIE追踪回答相关位置上的置信度动态 (https://huggingface.co/papers?q=confidence%20dynamics)，以判断当前哪个模型遵循更可靠的轨迹，并选择性地在模型间传递部分去噪序列 (https://huggingface.co/papers?q=partially%20denoised%20sequences)。由于遵循更有前景轨迹的模型往往会在不同的去噪步骤 (https://huggingface.co/papers?q=denoising%20steps) 中发生变化，TIE允许不同模型在生成的不同阶段贡献其互补的优势。在多种推理任务上的强劲表现，以及我们的分析表明，TIE为MDLM集成这一尚未充分探索的问题提供了一种实用的方法。

查看 arXiv 页面 (https://arxiv.org/abs/2606.16281) 查看 PDF (https://arxiv.org/pdf/2606.16281) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.16281)

在您的 agent 中获取此论文：

hf papers read 2606\.16281

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接到此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.16281 以从本页面链接。

引用此论文的数据集0

没有数据集链接到此论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.16281 以从本页面链接。

引用此论文的 Spaces0

没有 Space 链接到此论文

请在 Space README.md 中引用 arxiv.org/abs/2606.16281 以从本页面链接。

收录此论文的收藏集0

没有收藏集包含此论文

请将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 中以从本页面链接。