标签
本文研究了扩散Transformer中自对齐方法的机制，揭示了Self-Flow等方法带来的性能提升主要来自噪声维度上的数据增强，而非噪声级别之间的token交互。作者引入Attention Separation来证明这一点，并提出了一种结合自表示对齐与双时间步增强的有效设计。
本文介绍了涌现对齐（Emergent Alignment）这一自监督方法，该方法为大型语言模型（LLMs）赋予一个“良心”步骤，用于审查自身输出，并利用直接偏好优化（DPO）引导模型远离非伦理行为，从而实现在无需外部评判者的情况下进行在线对齐。
LC-ERD是一个框架，从LLM生成的推理链中挖掘潜在逻辑，将全局奖励分解为步骤级信号，实现无需人工标注的自我进化推理。它通过变分逻辑势和多智能体值分解来解决标签噪声、粗粒度监督和分布崩溃问题。