infilling

该论文将离散扩散的前向过程重新设计为可调的“信任轴”，通过区域非均匀的腐蚀核使模型能够检测并纠正被污染的条件上下文，在170M参数的掩码扩散模型上以低于5小时的微调取得了显著的上下文腐蚀检测与补全（infilling）效果提升。

本文提出Pill，一种针对扩散语言模型的高效自适应长度填充方法，该方法在提升代码和文本填充任务性能的同时，减少了推理时间。

提出 ac-gpt，一种对因果Transformer的简单修改，使其能够在单个前向传递中评估和采样任意条件（过去、未来、混合），同时保持从左到右的顺序和下一个词预测，从而允许现有LLM微调用于任意条件建模。

本文介绍了infilling extraction（填充提取）方法，这是一种通过使用任意二进制掩码从扩散语言模型中提取训练数据的新方法，表明此类模型比之前认为的更容易受到记忆化攻击。