random-masking

本文识别了掩码扩散语言模型中的一种失效模式：基于置信度的解码在复杂推理任务中导致高置信度错误，并表明置信对齐训练会加剧此问题，而随机掩码则能保持推理性能。