标签
该论文提出将 Transformer 网络解释为混合概率推理过程的可学习近似：自注意力对应在输入条件化、动态结构的马尔可夫随机场上执行 max-product 信念传播，而层间深度演进则对应隐式的期望最大化（EM）过程。基于此视角，作者提出 meta-model 范式，将自注意力、混合专家和门控单元等机制统一起来。
本文在混合线性回归中连接了Score Matching、Maximum Likelihood和Expectation-Maximization，提供了理论保证，并分析了扩散噪声水平下的梯度行为。
引入了Cluster-Weighted EDMD（CW-EDMD），这是一种数据驱动方法，通过期望最大化联合学习相空间划分和每个簇的Koopman算子，在经典动力系统上的预测精度优于标准EDMD。
本文提出了一个针对带面板数据的Markov Chain选择模型的框架，包括利用偏序偏好信息的新型EM算法进行估计、个性化选择预测以及分类优化。在合成数据和sushi数据集上的实验结果表明，相比传统方法有显著改进。
本文发现了轨迹预测模型中训练（赢者通吃损失）与推理之间的不匹配，导致模式概率缺乏信息。它提出了使用后验加权合并和一步EM更新的事后处理方法，以提高模式排序和预测准确性，无需重新训练。
TEMPO 提出一种测试时训练框架，在策略微调与评判器再校准之间交替，防止多样性崩塌并持续放大推理模型的性能，将 Qwen3-14B 在 AIME 2024 上的得分从 42.3% 提升至 65.8%。