bidirectional-generation

PreDiff-LM 提出了一种混合注意力机制，该机制对提示令牌保持因果注意力，对掩码目标令牌使用双向注意力，从而使得预训练自回归模型能够适应离散掩码扩散语言建模，在困惑度和下游任务上相较于先前的扩散基线取得了改进。