往返一致性：双向扩散模型可预测自身的展开误差 [R]

Reddit r/MachineLearning 论文
diffusion-models bidirectional rollout-error self-supervised latent-diffusion dynamical-systems

摘要

本文提出一种双向潜在扩散模型，可让动力系统在时间上向前或向后步进，并利用往返一致性作为自监督的测试时误差信号，在无需真实值或集成的情况下预测展开误差。

无论是生成 CELEBV-HQ 视频还是湍流等离子体场（数字孪生），自回归模型（如潜在扩散或流模型）在长程展开中都会累积误差，但在部署时没有真实值可用于衡量。我训练了一个带方向标志的条件潜在扩散模型，让动力系统在时间上向前或向后步进，并证明这种双向性提供了一种无需测量的测试时误差信号：向前步进后再向后步进必须使模型回到起点，因此往返差异可作为不可观测展开误差的自监督代理——无需集成、无需留出数据、无需控制方程，只需额外一次展开。此外，研究表明，在单个网络中同时训练两个方向，其性能在双向上都优于两个专家模型。论文：https://arxiv.org/abs/2608.00675 代码（数据生成、训练、分析）：https://github.com/alexscheinker/round-trip-consistency 项目页面：https://alexscheinker.github.io/roundtrip.html
查看原文

相似文章

扩散模型的时间差分学习

arXiv cs.LG

本文提出了一种用于扩散模型的时间差分（TD）学习目标，该目标在去噪轨迹上强制跨时间一致性。它将去噪重新表述为强化学习中的策略评估问题，展示了在样本质量（FID）上的显著改进，尤其适用于少步采样器。

不确定但确信：揭示扩散语言模型中的表征-置信度差距

arXiv cs.CL

本文识别出扩散语言模型中的“表征置信度差距”：内部状态能准确检测输入噪声，但报告的置信度在高噪声下仍保持高位，答案排序能力下降。本文引入了一种轻量级、无需训练的信息提取工具，利用隐藏状态改进排序，而无需修改基础模型。

理解图世界模型中的展开误差

arXiv cs.AI

本文分析了图世界模型（GWM）中的长时域展开误差，提出了一个包含动态边的统一框架，并引入了误差感知图世界模型（Error-Aware GWM），该模型利用谱正则化、展开一致性和关键节点加权来防止发散。