论文页面 - 理解生成式行为克隆中的多模态性

来源：https://huggingface.co/papers/2605.22493

这个想法其实由来已久。去年12月，我偶然研究了 ACT[Zhao] 的 CVAE 结构，以及它高得惊人的 KL 正则化系数（β = 10 甚至 100）。阅读 InfoVAE（Stefano Ermon 团队的一篇经典之作）之后，我开始怀疑隐变量不过是毫无结构的高斯噪声。一些 PCA 分析支持了这一猜测。随后我开始尝试 MMD 和 Sinkhorn 正则化：我想要一种策略，能够在不引入扩散或流模型计算负担的情况下，编码 BC 数据所宣称的多模态性。

在流行的 LIBERO 操作基准上，结果令人失望：β = 100 的 KL-CVAE 的表现与其他方法不相上下。于是我把 CVAE 彻底移除，训练了一个确定性动作 Transformer。结果相当令人震惊：它的表现与此前报告的 SOTA 相当。我无法理解这一点：从我读博一开始，文献（IBC[Florence]、Diffusion Policy[Chi]、VQ-BeT[Lee]、QFAT[Sheebaelhamd]）就让我相信，表达性强的策略对于 BC 基准至关重要。Ariel Rodríguez 和我在 LIBERO 和 Meta-World 上进行了进一步实验，并写了一篇快速论文，结果被拒了，因为它并没有真正解释为什么会发生这种情况。

但我仍然坚持寻找能够观察到所宣称多模态性的设定。我开发了一系列合成基准，其中轨迹从固定的初始状态出发且彼此明显分离。此时，Massimiliano Datres 对塑造我脑海中这些想法的理论、符号和形式化做出了巨大贡献。我们共同形式化了 BC 中的多模态性，并推导出了将模态表示与 CVAE 中的 KL 正则化、以及扩散/流采样器中的噪声到动作 Lipschitz 常数联系起来的界。

在 Ariel 的帮助下，我们将上述工作中使用的仿真基准进行了整合，随后开展了实验，本以为确定性回归会严重失败，然而……它的表现依然稳健。我们在机器人上构建了一个双模态操作的概念验证任务，并在那儿终于观察到了模态坍缩。最终，我们决定基于 GMM 聚类为没有真实模态标签的数据构建一个条件模态估计器。我们的估计表明，我们测试的所有仿真基准在所采样的状态上几乎都是单模态的！确定性回归依然具有竞争力，而且推理延迟往往更低。回过头看，这篇论文是一系列失败的集合，而这些失败屡屡与我的预期相悖。我很高兴我们坚持去理解它们。这让我确信，失败以及理解失败的努力能够带来有价值的科学，而这篇论文恰好诞生于这样的过程之中。

悉尼见，感谢所有合作者的贡献。