infilling

提出 ac-gpt，一种对因果Transformer的简单修改，使其能够在单个前向传递中评估和采样任意条件（过去、未来、混合），同时保持从左到右的顺序和下一个词预测，从而允许现有LLM微调用于任意条件建模。

本文介绍了infilling extraction（填充提取）方法，这是一种通过使用任意二进制掩码从扩散语言模型中提取训练数据的新方法，表明此类模型比之前认为的更容易受到记忆化攻击。