物理序列建模中错误泛化的机制

# 物理序列建模中错误泛化的机制  
来源：https://arxiv.org/html/2605.20299  

Kento Nishi¹,²,³,⁴,⁵  Raphael Tang⁶  Karun Kumar³  Core Francisco Park⁴,⁵†  Hidenori Tanaka⁴,⁵†  

¹哈佛学院  ²哈佛约翰·A·保尔森工程与应用科学学院  ³康卡斯特人工智能  ⁴哈佛大学CBS-NTT物理智能项目  ⁵NTT Research公司人工智能物理组，美国加州桑尼韦尔  ⁶微软  

通讯：[email protected], [email protected]  

###### 摘要  

生成式序列模型常被训练用于在物理领域规划运动，从机器人到机械仿真。当构建训练此类模型的数据集时，工程师可能精心策划演示，以指定轨迹应如何按某个*物理量*（如行程距离或机械能）分布。例如，构建迷宫导航代理的机器人专家可能会选择演示，使行程距离均匀地覆盖一定范围，希望约束代理的预期能耗。我们发现标准的深度学习可能违背这一意图：每条生成的轨迹单独看起来似乎合理，但物理量的总体分布却是错误的。我们将这种失败称为*物理错误泛化*，并发展了其机制的描述。使用受控的合成任务，我们表明当模型类别典型的局部误差通过物理测量传播，从而改变恢复的分布时，就会产生物理错误泛化。我们用一个*数据偏差核*来估计这些误差，并用它来预测哪些物理量会在我们的合成任务以及更应用的迷宫导航和双摆运动任务中获得或失去质量。最后，我们的机制解释有助于确定哪些缓解策略在结构上有前景，并利用它提出了一种基于核的干预。  

## 1 引言  

生成式序列模型的出现重塑了智能物理系统的构建方式。在机器人学和动力学建模等领域，生成式深度学习现被用于合成机器人策略（Ghosh 等，2024，https://arxiv.org/html/2605.20299#bib.bib17）、预测多智能体运动用于自动驾驶（Jiang 等，2023，https://arxiv.org/html/2605.20299#bib.bib24）、采样概率天气未来（Price 等，2025，https://arxiv.org/html/2605.20299#bib.bib42）、建模分子动力学轨迹（Jing 等，2024，https://arxiv.org/html/2605.20299#bib.bib26），甚至构建可交互环境（Bruce 等，2024，https://arxiv.org/html/2605.20299#bib.bib9）。这些系统中有许多从固定的演示轨迹集合中学习，因此数据集往往是指定学习生成器应复现何种物理行为的最直接杠杆。这在机器人学习中尤为明显，工程师会选择对策略贡献最大信息的状态-动作轨迹（Hejna 等，2025，https://arxiv.org/html/2605.20299#bib.bib19），跨物体姿态、场景布局、机械臂和灵巧手重新定位演示（Mandlekar 等，2023，https://arxiv.org/html/2605.20299#bib.bib35；Jiang 等，2025，https://arxiv.org/html/2605.20299#bib.bib25），并为飞机滑行、空中导航和动力系统收集安全或不安全的运行轨迹（Chou 等，2018，https://arxiv.org/html/2605.20299#bib.bib12；Ciftci 等，2025，https://arxiv.org/html/2605.20299#bib.bib13）。在这些情况下，塑造数据集的目的在于使学习到的模型在生成时复现所选的物理结构。  

那么，考虑一位机器人专家从演示中构建一个迷宫导航代理。其主要目标是让代理学会如何从起点移动到目标。然而，他们可能还关心其他物理量：例如，行程距离会影响能耗。为了约束这种行为，机器人专家精心策划演示路径，使行程距离遵循固定分布，希望代理在生成新路径时能复现该分布。如果我们在这组数据上训练一个规划模型，人们可能合理期望规划器的样本大致恢复相同的行程距离混合。但在实践中，这一期望落空了。一个在D4RL Maze2D（Fu 等，2020，https://arxiv.org/html/2605.20299#bib.bib16）上训练的扩散规划器（Janner 等，2022，https://arxiv.org/html/2605.20299#bib.bib23）学会了解迷宫；然而，当我们测量这些生成路径的行程距离时，分布相对于训练数据向上偏移（图1，https://arxiv.org/html/2605.20299#S1.F1）。因此，模型学到了足够的迷宫状运动来产生可识别的轨迹，但未能保留数据集旨在指定的物理混合。我们称这种失败为*物理错误泛化*。  

参见标题 参见标题 参见标题 参见标题 参见标题 参见标题 物理量测量 数据集 模型 数据偏差核 参见标题  
图1：我们识别了序列模型无法匹配物理测量量分布的机制。想象训练一个代理导航迷宫，数据集被精心策划，使行程距离分布落在安全范围内。训练后，模型可以解决迷宫，但其路径的行程距离比训练数据中的更长。我们剖析原因：模型类别的典型局部误差通过距离测量传播，导致漂移。通过将模型误差近似为*数据偏差核*，我们可以接近地预测模型如何改变分布。  

为什么会这样？深入观察模型的训练过程，行程距离并未明确作为扩散模型的优化目标出现。因此，我们要求模型在每个测量距离区间放置大致正确的概率量，却没有告诉它行程距离是评估标准。这个要求比生成有效计划更强：规划器可以在穿过迷宫时引入小的绕路，这些偏差从轨迹空间损失的角度来看可能很小，但对行程距离的影响却可能很大。因此，所涉及的机制似乎是：边际目标允许保留可识别运动的局部轨迹偏差，但这些相同的偏差转化为沿所关注的物理测量量的概率质量不均匀转移。  

如上所述，这一机制解释只是推测性的。为了验证它，我们需要证据表明它正确预测了经验观察，即它可以预测真实训练模型中概率质量的移动。自然物理数据集很少暴露进行此类测试所需的所有部分，因为测量量、量与轨迹之间的关系以及建模方法可能深度纠缠。受此启发，我们构建了合成任务，其中已知标量量控制着一族轨迹。对于每个任务，我们固定一个预期先验，通过显式的轨迹生成规则将量映射到序列，并通过共享的测量方法从生成轨迹中恢复该量。我们仍然无条件地在轨迹上训练生成器，保留导航场景的结构；但由于我们通过构建知道了数据生成过程的结构，这些任务让我们能够从自然物理数据集的混杂因素中隔离该机制。  

在合成设置和诸如2D迷宫导航及双摆仿真等应用中，我们表明使用*数据偏差核*模拟类模型误差并将其扰动通过物理测量传播，有助于预测哪些量值获得或失去质量，而无需依赖训练好的模型。我们的主要贡献如下：  

- • 我们识别并形式化了*物理错误泛化*，这是在边际目标下训练的物理序列模型中出现的一种失败模式。（第1节，https://arxiv.org/html/2605.20299#S1，第2节，https://arxiv.org/html/2605.20299#S2，第3节，https://arxiv.org/html/2605.20299#S3）  
- • 我们发展了一种机制解释。模型偏差，可估计为*数据偏差核*，通过物理测量传播，将概率移动到不同的量值上。（第4节，https://arxiv.org/html/2605.20299#S4）  
- • 我们设计了具有已知物理量的合成任务，使我们能够控制先验、轨迹生成规则和物理量测量，以测试机制的预测。（第5.1节，https://arxiv.org/html/2605.20299#S5.SS1）  
- • 我们的机制强烈预测了哪些量在合成和应用任务中被过度或欠代表。它也解释了动机性的迷宫导航案例。（第5.2节，https://arxiv.org/html/2605.20299#S5.SS2）  
- • 我们利用核概念提出了一种缓解措施。我们比较了不同层面的干预：数据集组成、生成模型接口以及输入输出表征。（第6节，https://arxiv.org/html/2605.20299#S6）  

总之，本文确立了物理错误泛化是模型引起的局部偏差与控制物理世界的量之间相互作用的结果，是可以预期的。  

## 2 相关工作  

物理轨迹的生成式序列模型。这些模型在基于轨迹的规划和预测中很流行，用于自动驾驶、天气、分子动力学和环境仿真（Janner 等，2022，https://arxiv.org/html/2605.20299#bib.bib23；Ajay 等，2023，https://arxiv.org/html/2605.20299#bib.bib2；Chi 等，2025，https://arxiv.org/html/2605.20299#bib.bib11；Ghosh 等，2024，https://arxiv.org/html/2605.20299#bib.bib17；Jiang 等，2023，https://arxiv.org/html/2605.20299#bib.bib24；Price 等，2025，https://arxiv.org/html/2605.20299#bib.bib42；Jing 等，2024，https://arxiv.org/html/2605.20299#bib.bib26；Bruce 等，2024，https://arxiv.org/html/2605.20299#bib.bib9）。此外，有几项工作也提出了显式的物理感知架构：Hamiltonian 神经网络通过哈密顿量学习向量场，从而通过归纳偏置保持守恒律（Greydanus 等，2019，https://arxiv.org/html/2605.20299#bib.bib18）；拉格朗日神经网络在无法获得规范动量的情况下参数化拉格朗日量（Cranmer 等，2020，https://arxiv.org/html/2605.20299#bib.bib14）。虽然硬编码物理定律可能很有价值，但自由形式的生成式序列建模方法仍被广泛使用，因为它提供了更大的灵活性。因此，我们关注最常见的边际建模范式，其中生成器训练时没有将组织性物理结构融入模型接口。  

潜在变量、聚合后验和逆问题。从数据中代数恢复量的行为类似于变分自编码器中的聚合后验计算。在VAE中，先验和似然定义了潜在变量模型，学习的识别模型将观测映射到近似后验，而将此后验在观测上平均给出聚合后验（Kingma 和 Welling，2014，https://arxiv.org/html/2605.20299#bib.bib29；Blei 等，2017，https://arxiv.org/html/2605.20299#bib.bib7）。ELBO手术分析了这种平均编码分布与先验的差异（Hoffman 和 Johnson，2016，https://arxiv.org/html/2605.20299#bib.bib21）；对抗自编码器和Wasserstein自编码器随后将编码分布正则化到先验（Makhzani 等，2016，https://arxiv.org/html/2605.20299#bib.bib34；Tolstikhin 等，2018，https://arxiv.org/html/2605.20299#bib.bib51）。同样的代数相似性延伸到逆问题，其中贝叶斯公式结合先验和似然得到隐藏量上的后验，而关于不适定性和可辨识性的经典处理表明观测数据中的小扰动可以改变恢复的量（Tarantola，2005，https://arxiv.org/html/2605.20299#bib.bib49；Kaipio 和 Somersalo，2005，https://arxiv.org/html/2605.20299#bib.bib27；Tikhonov 和 Arsenin，1977，https://arxiv.org/html/2605.20299#bib.bib50；Bellman 和 Åström，1970，https://arxiv.org/html/2605.20299#bib.bib5）。尽管如此，以往的文献并未研究本文核心的情况，即生成模型在数据上边际训练，并通过测量生成样本恢复物理量的分布。  

边际生成模型的偏差。关于采样偏差的文献解释了生成模型学到的分布为何会系统性地偏离真实数据分布。对于扩散模型，这包括模式插值、信号泄露、某些区域的选择性欠拟合、训练样本的局部重组以及近处的绕路（Aithal 等，2024，https://arxiv.org/html/2605.20299#bib.bib1；Everaert 等，2024，https://arxiv.org/html/2605.20299#bib.bib15；Song 等，2025，https://arxiv.org/html/2605.20299#bib.bib48；Kamb 和 Ganguli，2025，https://arxiv.org/html/2605.20299#bib.bib28；Zhao 和 Grover，2023，https://arxiv.org/html/2605.20299#bib.bib53）。自回归序列模型容易受到类似问题的影响，如暴露偏差，因为教师强制训练基于数据前缀，而自由运行生成则基于模型自身采样的历史（Schmidt，2019，https://arxiv.org/html/2605.20299#bib.bib46；Bengio 等，2015，https://arxiv.org/html/2605.20299#bib.bib6；Lamb 等，2016，https://arxiv.org/html/2605.20299#bib.bib31；Ross 等，2011，https://arxiv.org/html/2605.20299#bib.bib45）。这些工作主要通过似然、困惑度、FID等预测拟合指标关注单个样本质量（Meister 和 Cotterell，2021，https://arxiv.org/html/2605.20299#bib.bib36；Naeem 等，2020，https://arxiv.org/html/2605.20299#bib.bib37）；我们的工作是对这些工作的补充，探讨这些单个样本的聚合是否遵循预期分布。  

用于机制理解的合成数据生成。生成器误差与测量灵敏度之间的相互作用在自然物理数据集中难以单独隔离。因此，我们以过去机制研究的精神构建合成任务，这些研究设计了受控任务以暴露原本会纠缠在一起的结构。合成任务已被用于推动领域对组合泛化、推理、训练动态和内部表征的理解（Chan 等，2022，https://arxiv.org/html/2605.20299#bib.bib10；Li 等，2023，https://arxiv.org/html/2605.20299#bib.bib32；Nanda 等，2023，https://arxiv.org/html/2605.20299#bib.bib38；Reddy，2024，https://arxiv.org/html/2605.20299#bib.bib44；Brinkmann 等，2024，https://arxiv.org/html/2605.20299#bib.bib8；Lubana 等，2025，https://arxiv.org/html/2605.20299#bib.bib33；Yang 等，2025，https://arxiv.org/html/2605.20299#bib.bib52；Park 等，2025，https://arxiv.org/html/2605.20299#bib.bib40；Nishi 等，2025，https://arxiv.org/html/2605.20299#bib.bib39）。这是通过知道数据如何构建来实现的，这使得可以干预和消融管道的各部分，以剖析哪些组件产生了所考察的行为。  

（注意：原文后续还有章节，但用户只提供了“## 2 Related Work”及其后续内容部分。但根据要求，我们需要翻译整个提供的文章内容。用户给出的内容似乎不完整，只到第2节中间？但任务描述是“翻译给定的markdown文章内容”，用户提供的文本中包含了标题、摘要、引言和部分相关工作。但文本在“## 2 Related Work”之后戛然而止？实际上，用户提供的文本包含了从开头到“which components produce the behavior in question”的完整内容？检查用户输入：它以“# Mechanisms of Misgeneralization ...”开头，并以“which components produce the behavior in question\.”结束。是的，用户提供了完整的文章内容（虽然可能有截断，但看起来是完整的，因为最后一句以句号结束，并且没有未闭合的标记）。所以我们需要翻译整个提供的文本。但注意，在“## 2 Related Work”段落末尾，用户输入的最后一句是“which components produce the behavior in question\.”。之后没有更多内容。所以我们需要翻译从开头到“which components produce the behavior in question.”的全部内容。注意原文中还有图表的引用，但图表本身未提供，我们只需保留引用。另外注意特殊符号如†，应保留。翻译时要确保所有引用链接和格式不变。某些部分如“Refer to caption”重复出现，可能是图注，保留原样。数学符号如$\\dagger$应正确处理。开始翻译。# 物理序列建模中错误泛化的机制  
来源：https://arxiv.org/html/2605.20299  

Kento Nishi¹,²,³,⁴,⁵ Raphael Tang⁶ Karun Kumar³ Core Francisco Park⁴,⁵† Hidenori Tanaka⁴,⁵†  

¹哈佛学院 ²哈佛约翰·A·保尔森工程与应用科学学院 ³康卡斯特人工智能 ⁴哈佛大学CBS-NTT物理智能项目 ⁵NTT Research公司人工智能物理组，美国加州桑尼韦尔 ⁶微软  

通讯：[email protected], [email protected]  

###### 摘要  

生成式序列模型常被训练用于在物理领域规划运动，从机器人到机械仿真。当构建训练此类模型的数据集时，工程师可能精心策划演示，以指定轨迹应如何按某个*物理量*（如行程距离或机械能）分布。例如，构建迷宫导航代理的机器人专家可能会选择演示，使行程距离均匀地覆盖一定范围，希望约束代理的预期能耗。我们发现标准的深度学习可能违背这一意图：每条生成的轨迹单独看起来似乎合理，但物理量的总体分布却是错误的。我们将这种失败称为*物理错误泛化*，并发展了其机制的描述。使用受控的合成任务，我们表明当模型类别典型的局部误差通过物理测量传播，从而改变恢复的分布时，就会产生物理错误泛化。我们用一个*数据偏差核*来估计这些误差，并用它来预测哪些物理量会在我们的合成任务以及更应用的迷宫导航和双摆运动任务中获得或失去质量。最后，我们的机制解释有助于确定哪些缓解策略在结构上有前景，并利用它提出了一种基于核的干预。  

## 1 引言  

生成式序列模型的出现重塑了智能物理系统的构建方式。在机器人学和动力学建模等领域，生成式深度学习现被用于合成机器人策略（Ghosh 等，2024，https://arxiv.org/html/2605.20299#bib.bib17）、预测多智能体运动用于自动驾驶（Jiang 等，2023，https://arxiv.org/html/2605.20299#bib.bib24）、采样概率天气未来（Price 等，2025，https://arxiv.org/html/2605.20299#bib.bib42）、建模分子动力学轨迹（Jing 等，2024，https://arxiv.org/html/2605.20299#bib.bib26），甚至构建可交互环境（Bruce 等，2024，https://arxiv.org/html/2605.20299#bib.bib9）。这些系统中有许多从固定的演示轨迹集合中学习，因此数据集往往是指定学习生成器应复现何种物理行为的最直接杠杆。这在机器人学习中尤为明显，工程师会选择对策略贡献最大信息的状态-动作轨迹（Hejna 等，2025，https://arxiv.org/html/2605.20299#bib.bib19），跨物体姿态、场景布局、机械臂和灵巧手重新定位演示（Mandlekar 等，2023，https://arxiv.org/html/2605.20299#bib.bib35；Jiang 等，2025，https://arxiv.org/html/2605.20299#bib.bib25），并为飞机滑行、空中导航和动力系统收集安全或不安全的运行轨迹（Chou 等，2018，https://arxiv.org/html/2605.20299#bib.bib12；Ciftci 等，2025，https://arxiv.org/html/2605.20299#bib.bib13）。在这些情况下，塑造数据集的目的在于使学习到的模型在生成时复现所选的物理结构。  

那么，考虑一位机器人专家从演示中构建一个迷宫导航代理。其主要目标是让代理学会如何从起点移动到目标。然而，他们可能还关心其他物理量：例如，行程距离会影响能耗。为了约束这种行为，机器人专家精心策划演示路径，使行程距离遵循固定分布，希望代理在生成新路径时能复现该分布。如果我们在这组数据上训练一个规划模型，人们可能合理期望规划器的样本大致恢复相同的行程距离混合。但在实践中，这一期望落空了。一个在D4RL Maze2D（Fu 等，2020，https://arxiv.org/html/2605.20299#bib.bib16）上训练的扩散规划器（Janner 等，2022，https://arxiv.org/html/2605.20299#bib.bib23）学会了解迷宫；然而，当我们测量这些生成路径的行程距离时，分布相对于训练数据向上偏移（图1，https://arxiv.org/html/2605.20299#S1.F1）。因此，模型学到了足够的迷宫状运动来产生可识别的轨迹，但未能保留数据集旨在指定的物理混合。我们称这种失败为*物理错误泛化*。  

参见标题 参见标题 参见标题 参见标题 参见标题 参见标题 物理量测量 数据集 模型 数据偏差核 参见标题  
图1：我们识别了序列模型无法匹配物理测量量分布的机制。想象训练一个代理导航迷宫，数据集被精心策划，使行程距离分布落在安全范围内。训练后，模型可以解决迷宫，但其路径的行程距离比训练数据中的更长。我们剖析原因：模型类别的典型局部误差通过距离测量传播，导致漂移。通过将模型误差近似为*数据偏差核*，我们可以接近地预测模型如何改变分布。  

为什么会这样？深入观察模型的训练过程，行程距离并未明确作为扩散模型的优化目标出现。因此，我们要求模型在每个测量距离区间放置大致正确的概率量，却没有告诉它行程距离是评估标准。这个要求比生成有效计划更强：规划器可以在穿过迷宫时引入小的绕路，这些偏差从轨迹空间损失的角度来看可能很小，但对行程距离的影响却可能很大。因此，所涉及的机制似乎是：边际目标允许保留可识别运动的局部轨迹偏差，但这些相同的偏差转化为沿所关注的物理测量量的概率质量不均匀转移。  

如上所述，这一机制解释只是推测性的。为了验证它，我们需要证据表明它正确预测了经验观察，即它可以预测真实训练模型中概率质量的移动。自然物理数据集很少暴露进行此类测试所需的所有部分，因为测量量、量与轨迹之间的关系以及建模方法可能深度纠缠。受此启发，我们构建了合成任务，其中已知标量量控制着一族轨迹。对于每个任务，我们固定一个预期先验，通过显式的轨迹生成规则将量映射到序列，并通过共享的测量方法从生成轨迹中恢复该量。我们仍然无条件地在轨迹上训练生成器，保留导航场景的结构；但由于我们通过构建知道了数据生成过程的结构，这些任务让我们能够从自然物理数据集的混杂因素中隔离该机制。  

在合成设置和诸如2D迷宫导航及双摆仿真等应用中，我们表明使用*数据偏差核*模拟类模型误差并将其扰动通过物理测量传播，有助于预测哪些量值获得或失去质量，而无需依赖训练好的模型。我们的主要贡献如下：  

- • 我们识别并形式化了*物理错误泛化*，这是在边际目标下训练的物理序列模型中出现的一种失败模式。（第1节，https://arxiv.org/html/2605.20299#S1，第2节，https://arxiv.org/html/2605.20299#S2，第3节，https://arxiv.org/html/2605.20299#S3）  
- • 我们发展了一种机制解释。模型偏差，可估计为*数据偏差核*，通过物理测量传播，将概率移动到不同的量值上。（第4节，https://arxiv.org/html/2605.20299#S4）  
- • 我们设计了具有已知物理量的合成任务，使我们能够控制先验、轨迹生成规则和物理量测量，以测试机制的预测。（第5.1节，https://arxiv.org/html/2605.20299#S5.SS1）  
- • 我们的机制强烈预测了哪些量在合成和应用任务中被过度或欠代表。它也解释了动机性的迷宫导航案例。（第5.2节，https://arxiv.org/html/2605.20299#S5.SS2）  
- • 我们利用核概念提出了一种缓解措施。我们比较了不同层面的干预：数据集组成、生成模型接口以及输入输出表征。（第6节，https://arxiv.org/html/2605.20299#S6）  

总之，本文确立了物理错误泛化是模型引起的局部偏差与控制物理世界的量之间相互作用的结果，是可以预期的。  

## 2 相关工作  

物理轨迹的生成式序列模型。这些模型在基于轨迹的规划和预测中很流行，用于自动驾驶、天气、分子动力学和环境仿真（Janner 等，2022，https://arxiv.org/html/2605.20299#bib.bib23；Ajay 等，2023，https://arxiv.org/html/2605.20299#bib.bib2；Chi 等，2025，https://arxiv.org/html/2605.20299#bib.bib11；Ghosh 等，2024，https://arxiv.org/html/2605.20299#bib.bib17；Jiang 等，2023，https://arxiv.org/html/2605.20299#bib.bib24；Price 等，2025，https://arxiv.org/html/2605.20299#bib.bib42；Jing 等，2024，https://arxiv.org/html/2605.20299#bib.bib26；Bruce 等，2024，https://arxiv.org/html/2605.20299#bib.bib9）。此外，有几项工作也提出了显式的物理感知架构：Hamiltonian 神经网络通过哈密顿量学习向量场，从而通过归纳偏置保持守恒律（Greydanus 等，2019，https://arxiv.org/html/2605.20299#bib.bib18）；拉格朗日神经网络在无法获得规范动量的情况下参数化拉格朗日量（Cranmer 等，2020，https://arxiv.org/html/2605.20299#bib.bib14）。虽然硬编码物理定律可能很有价值，但自由形式的生成式序列建模方法仍被广泛使用，因为它提供了更大的灵活性。因此，我们关注最常见的边际建模范式，其中生成器训练时没有将组织性物理结构融入模型接口。  

潜在变量、聚合后验和逆问题。从数据中代数恢复量的行为类似于变分自编码器中的聚合后验计算。在VAE中，先验和似然定义了潜在变量模型，学习的识别模型将观测映射到近似后验，而将此后验在观测上平均给出聚合后验（Kingma 和 Welling，2014，https://arxiv.org/html/2605.20299#bib.bib29；Blei 等，2017，https://arxiv.org/html/2605.20299#bib.bib7）。ELBO手术分析了这种平均编码分布与先验的差异（Hoffman 和 Johnson，2016，https://arxiv.org/html/2605.20299#bib.bib21）；对抗自编码器和Wasserstein自编码器随后将编码分布正则化到先验（Makhzani 等，2016，https://arxiv.org/html/2605.20299#bib.bib34；Tolstikhin 等，2018，https://arxiv.org/html/2605.20299#bib.bib51）。同样的代数相似性延伸到逆问题，其中贝叶斯公式结合先验和似然得到隐藏量上的后验，而关于不适定性和可辨识性的经典处理表明观测数据中的小扰动可以改变恢复的量（Tarantola，2005，https://arxiv.org/html/2605.20299#bib.bib49；Kaipio 和 Somersalo，2005，https://arxiv.org/html/2605.20299#bib.bib27；Tikhonov 和 Arsenin，1977，https://arxiv.org/html/2605.20299#bib.bib50；Bellman 和 Åström，1970，https://arxiv.org/html/2605.20299#bib.bib5）。尽管如此，以往的文献并未研究本文核心的情况，即生成模型在数据上边际训练，并通过测量生成样本恢复物理量的分布。  

边际生成模型的偏差。关于采样偏差的文献解释了生成模型学到的分布为何会系统性地偏离真实数据分布。对于扩散模型，这包括模式插值、信号泄露、某些区域的选择性欠拟合、训练样本的局部重组以及近处的绕路（Aithal 等，2024，https://arxiv.org/html/2605.20299#bib.bib1；Everaert 等，2024，https://arxiv.org/html/2605.20299#bib.bib15；Song 等，2025，https://arxiv.org/html/2605.20299#bib.bib48；Kamb 和 Ganguli，2025，https://arxiv.org/html/2605.20299#bib.bib28；Zhao 和 Grover，2023，https://arxiv.org/html/2605.20299#bib.bib53）。自回归序列模型容易受到类似问题的影响，如暴露偏差，因为教师强制训练基于数据前缀，而自由运行生成则基于模型自身采样的历史（Schmidt，2019，https://arxiv.org/html/2605.20299#bib.bib46；Bengio 等，2015，https://arxiv.org/html/2605.20299#bib.bib6；Lamb 等，2016，https://arxiv.org/html/2605.20299#bib.bib31；Ross 等，2011，https://arxiv.org/html/2605.20299#bib.bib45）。这些工作主要通过似然、困惑度、FID等预测拟合指标关注单个样本质量（Meister 和 Cotterell，2021，https://arxiv.org/html/2605.20299#bib.bib36；Naeem 等，2020，https://arxiv.org/html/2605.20299#bib.bib37）；我们的工作是对这些工作的补充，探讨这些单个样本的聚合是否遵循预期分布。  

用于机制理解的合成数据生成。生成器误差与测量灵敏度之间的相互作用在自然物理数据集中难以单独隔离。因此，我们以过去机制研究的精神构建合成任务，这些研究设计了受控任务以暴露原本会纠缠在一起的结构。合成任务已被用于推动领域对组合泛化、推理、训练动态和内部表征的理解（Chan 等，2022，https://arxiv.org/html/2605.20299#bib.bib10；Li 等，2023，https://arxiv.org/html/2605.20299#bib.bib32；Nanda 等，2023，https://arxiv.org/html/2605.20299#bib.bib38；Reddy，2024，https://arxiv.org/html/2605.20299#bib.bib44；Brinkmann 等，2024，https://arxiv.org/html/2605.20299#bib.bib8；Lubana 等，2025，https://arxiv.org/html/2605.20299#bib.bib33；Yang 等，2025，https://arxiv.org/html/2605.20299#bib.bib52；Park 等，2025，https://arxiv.org/html/2605.20299#bib.bib40；Nishi 等，2025，https://arxiv.org/html/2605.20299#bib.bib39）。这是通过知道数据如何构建来实现的，这使得可以干预和消融管道的各部分，以剖析哪些组件产生了所考察的行为。