重新思考预测中的训练与推理：将赢者通吃与GMM重新关联

# 重新思考预测的训练与推理：将胜者全得与高斯混合模型联系起来
来源：https://arxiv.org/html/2606.26424
11institutetext:1Cornell University,2Stanford University,3Boston University###### 摘要

自动驾驶的轨迹预测已取得快速进展，但代表性模型通常对预测模式产生无信息的后验分布，从而给模式剪枝带来问题。我们将此追溯到建模与训练的不匹配：预测器通常被建模为条件高斯混合模型（GMMs），但使用胜者全得（WTA）损失进行训练，该损失将每个样本分配给其最近模式。我们认为，这种类似K均值的硬分配（独热）虽然防止了模式坍缩，却是导致模式概率无信息的根源：它过度分割轨迹空间，忽略相邻模式间的相关性，并在小扰动下产生分配不稳定性。基于这一视角，我们引入了两种事后处理方法：(1) 测试时后验加权合并，用于聚合邻近的候选轨迹；(2) 一步期望最大化（EM）更新，用软责任代替硬标签，在相邻模式间共享概率质量。在多个使用WTA训练的架构上，这些轻量级步骤产生了更具信息性、更忠实排序的模式后验，并在流行的位移指标上增强了最终预测——无需重新训练。我们的分析通过GMM与K均值的视角统一了近期设计选择，并提供了原则性、实用的修正方案，使训练目标与推理更好地对齐。

## 1 引言

自动驾驶中的轨迹预测，即预测其他交通参与者（例如汽车、行人、自行车）将去哪里，对于在人流密集的交通环境中规划自车的安全操作至关重要。已有众多行业努力建立实际挑战[12](https://arxiv.org/html/2606.26424#bib.bib57), 34](https://arxiv.org/html/2606.26424#bib.bib64), [4](https://arxiv.org/html/2606.26424#bib.bib65)，这些挑战进而激发了基于学习的技术进步。其中不确定性估计是基础性的，因为未来运动本质上是多模态且模糊的。例如，一辆停在停车标志前的车辆可能前行或准备转弯，下游的自动驾驶规划堆栈需要同时考虑这两种情况以确保安全行驶方案。除了生成多个预测外，按可能性对其进行排序也至关重要：没有有意义的排序，大量低概率假设可能在正常情况下触发过于保守的行为（例如突然刹车）——既不舒适也存在潜在危险。

见图注图1：Wayformer预测的64个模式。我们可视化了从直接预测较小集合叠加的5分量高斯混合。注意它存在过度分割问题，每个模式有许多预测，尽管其中许多可能性很低。预测轨迹以黑色显示，真实轨迹以蓝色显示，地图折线以灰色显示。这项工作聚焦于一个主流模型系列[9](https://arxiv.org/html/2606.26424#bib.bib24), [30](https://arxiv.org/html/2606.26424#bib.bib21), [31](https://arxiv.org/html/2606.26424#bib.bib23), [32](https://arxiv.org/html/2606.26424#bib.bib22), [23](https://arxiv.org/html/2606.26424#bib.bib28), [35](https://arxiv.org/html/2606.26424#bib.bib56)，它们生成多个候选轨迹预测，每个关联一个概率。这种设计合理地将不确定性直接纳入预测的未来，而提供多个候选为后续的下游运动规划提供了更多灵活性。先前研究表明，这类运动预测模型确实能够产生覆盖大部分真实轨迹的未来候选轨迹——通常能捕捉到甚至离群值[3](https://arxiv.org/html/2606.26424#bib.bib66)。实践中，模型通常预测一组初始的过完备轨迹（通常为64个），并采用事后模式采样或聚合过程，获得最终紧凑轨迹集用于自车的下游运动规划。如今，这一设置已成为事实上的基准评估，它在为实时部署获得紧凑且可处理子集的灵活性之间取得平衡，同时为安全关键的可能未来运动提供更好的覆盖。然而，瓶颈在于分配给每个候选的概率：我们发现，尽管预测确实为每个预测轨迹建模了关联的概率混合权重，但分配的概率往往是无信息的，例如，对常见且正确的未来行为赋予低似然，或对相似候选分配波动的概率。因此，诸如选择最高“似然”模式等朴素的后选择方法可能产生仅保留总预测似然很小一部分的轨迹。

这项工作采用经典机器学习方法来回答一个问题：尽管预测似然无信息，获得紧凑轨迹集的原则性方法是什么？为此，我们首先探究为什么在大量运动预测目标[9](https://arxiv.org/html/2606.26424#bib.bib24), [33](https://arxiv.org/html/2606.26424#bib.bib25), [30](https://arxiv.org/html/2606.26424#bib.bib21), [32](https://arxiv.org/html/2606.26424#bib.bib22), [31](https://arxiv.org/html/2606.26424#bib.bib23), [23](https://arxiv.org/html/2606.26424#bib.bib28)下的预测似然常常是无信息的。我们的调查显示出其训练目标与假定的推理时概率模型之间存在根本性不匹配。为了捕捉未来轨迹的不确定性和多样性，这些代表性算法采用了以过去轨迹为条件的高斯混合模型（GMM）。学习GMM的标准目标是证据下界（ELBO），可通过期望最大化（EM）式训练来近似——交替进行每个样本对模式的软分配，以及更新候选预测和概率分配。然而，这种目标在大数据集上难以处理，而直接使用梯度下降优化常常导致模式坍缩，这尤其不受欢迎。实践中，这些方法采用胜者全得（WTA）分配，将软分配替换为硬分配，从而防止所有模式坍缩到单个样本更新。虽然这一简单更改有效实现了多样化预测，但我们的关键见解是，这种硬分配将目标转变为类似K均值的目标[19](https://arxiv.org/html/2606.26424#bib.bib60)，从而失去了其概率解释。这一见解揭示了为什么预测的混合似然经常无信息，以及为什么在如此目标下训练的模型能够有效预测轨迹而实现专门化且不发生模式坍缩。

实际上，我们认为胜者全得目标有许多优点，因为它继承了K均值预测的优势，能够捕捉运动预测方法中必要的多样化行为。这一理解也揭示了为什么这些模型容易过度分割——即对单个意图模式（例如“前进”）生成许多预测。在第4节 (https://arxiv.org/html/2606.26424#S4)中，我们分析目标以展示WTA目标与K均值聚类目标紧密对应的观点。基于这一见解，我们在第5节 (https://arxiv.org/html/2606.26424#S5)中提出使用聚合和单步期望最大化来缓解过度分割特征，并用软责任替换硬标签以获得更具信息性、更忠实排序的模式后验。我们的主要贡献是为这类方法提供理论依据和解释：为什么我们需要它们，以及它们如何工作。最后，在第6节 (https://arxiv.org/html/2606.26424#S6)中，我们证明简单的处理方法比朴素地根据预测轨迹似然进行贪心选择能够改善距离误差预测性能，而无需重新训练。我们的贡献如下：

- 我们提供了关于胜者全得轨迹预测目标的统一GMM与K均值视角。
- 我们提供了原则性、实用的修正方案，使训练目标与推理时的概率建模假设对齐。
- 我们通过三种代表性胜者全得模型在事后聚合策略上的实验验证了我们的发现。

## 2 相关工作

#### 自动驾驶的运动预测。

运动预测一直是自动驾驶研究中长期存在的问题。基于学习的方法主要将其表述为多智能体序列预测问题，给定智能体（例如另一辆车或行人）的一些历史位置，目标是预测未来位置[2](https://arxiv.org/html/2606.26424#bib.bib2), [20](https://arxiv.org/html/2606.26424#bib.bib3)。早期方法预测一个或多个兴趣参与者的航路点轨迹[1](https://arxiv.org/html/2606.26424#bib.bib4), [24](https://arxiv.org/html/2606.26424#bib.bib7), [15](https://arxiv.org/html/2606.26424#bib.bib16)。其他工作探索了如何将不确定性建模为未来时间步上的独立高斯分布[26](https://arxiv.org/html/2606.26424#bib.bib10), [7](https://arxiv.org/html/2606.26424#bib.bib6)，或非参数占用预测[16](https://arxiv.org/html/2606.26424#bib.bib14), [17](https://arxiv.org/html/2606.26424#bib.bib13), [21](https://arxiv.org/html/2606.26424#bib.bib20)。另一分支工作旨在识别意图[36](https://arxiv.org/html/2606.26424#bib.bib9), [18](https://arxiv.org/html/2606.26424#bib.bib19), [27](https://arxiv.org/html/2606.26424#bib.bib11), [14](https://arxiv.org/html/2606.26424#bib.bib8)，可以是最终目标或作为多模态运动预测的共目标。这些工作通常获得非常多样化、依赖于上下文的行为，但实时运行速度较慢。为了处理快速运行时前向传播的必要性，方法选择使用隐式似然将意图建模为采样[15](https://arxiv.org/html/2606.26424#bib.bib16), [29](https://arxiv.org/html/2606.26424#bib.bib18), [8](https://arxiv.org/html/2606.26424#bib.bib12), [10](https://arxiv.org/html/2606.26424#bib.bib17)。然而，缺乏显式似然使得这些模型难以估计下游自车规划所需的不确定性。少数工作改用显式多模态高斯混合模型（GMM）表示来预测作为混合的隐式意图，并直接回归时间步独立的未来高斯预测[11](https://arxiv.org/html/2606.26424#bib.bib15), [9](https://arxiv.org/html/2606.26424#bib.bib24), [8](https://arxiv.org/html/2606.26424#bib.bib12), [33](https://arxiv.org/html/2606.26424#bib.bib25), [30](https://arxiv.org/html/2606.26424#bib.bib21), [32](https://arxiv.org/html/2606.26424#bib.bib22)。这些方法产生可解释的不确定性，但实践中往往未经校准[6](https://arxiv.org/html/2606.26424#bib.bib29)。在多模态、基于GMM的方法中，由[9](https://arxiv.org/html/2606.26424#bib.bib24)推广，许多工作使用多样性诱导损失优化其高斯混合模型，其中似然以胜者全得目标进行训练[33](https://arxiv.org/html/2606.26424#bib.bib25), [30](https://arxiv.org/html/2606.26424#bib.bib21), [32](https://arxiv.org/html/2606.26424#bib.bib22), [23](https://arxiv.org/html/2606.26424#bib.bib28)。这种优化方法产生了多样化、多模态的预测和稳定的收敛。

#### 事后轨迹选择

许多运动预测器，如MTR[30](https://arxiv.org/html/2606.26424#bib.bib21)、Multipath++[33](https://arxiv.org/html/2606.26424#bib.bib25)和Wayformer[23](https://arxiv.org/html/2606.26424#bib.bib28)，通常使用64个初始模式 (\(K=64\)) 以获得更好的可能轨迹覆盖，并采用模式采样或聚合过程来获得最终 \(M\) 个模式用于基准评估 (\(M \ll K\)，通常为5或6)。这种配置被认为对预测器计算上可处理，同时提供充分过完备的集合以实现多样化运动模式的稳定学习。表1 (https://arxiv.org/html/2606.26424#S2.T1) 总结了一些模型的训练目标和事后模式选择方法。这些事后方法允许从业者修改或减少轨迹模式而无需重新训练，在输出表示上提供更大的测试时灵活性。然而，尽管具有实际重要性，目前尚没有统一框架或系统分析将这些事后轨迹选择/聚合过程与底层训练目标联系起来。

表1：运动预测模型的训练目标和事后方法。

## 3 预备知识

### 3.1 运动预测

自动驾驶的运动预测需要预测周围交通参与者多个可能的未来轨迹。关键期望包括：(1) 多模态性以捕捉多样化的行为意图，(2) 准确似然估计以进行不确定性感知规划，(3) 计算效率以支持实时部署。

#### 问题形式化。

给定所有智能体的历史状态和场景地图上下文，预测目标智能体的未来轨迹，形式为 \(M\) 个候选 \(\hat{\mathbf{y}}_m^{(t)}, t \in \{1,...,T\}, m \in \{1,...,M\}\)，预测时域为 \(T\)。每个时间步独立预测，以输入和所选模式为条件，因此模型将联合预测按时间分解。本文中，我们假设所有预测都以输入为条件（为简洁省略输入），并省略数据点索引。

#### GMM表示。

高斯混合模型（GMMs）自然地满足许多这些要求，并已成为运动预测中建模未来轨迹的流行选择[30](https://arxiv.org/html/2606.26424#bib.bib21), [32](https://arxiv.org/html/2606.26424#bib.bib22), [23](https://arxiv.org/html/2606.26424#bib.bib28)。GMMs通过代表不同行为模式的混合分量提供多模态性，为不确定性感知规划提供原则性似然估计，并提供紧凑的参数形式，便于训练和推理。这些优势导致许多最先进的运动预测方法采用基于GMM的输出表示，使其成为该领域的事实标准。形式上，给定 \(K\) 个混合分量，GMM负对数似然目标为：

\[
\mathcal{L}_{\text{GMM}} = -\log \sum_{k=1}^{K} \hat{p}_k \cdot \prod_{t=1}^{T} \mathcal{N}(\mathbf{y}^{*(t)} | \hat{\mathbf{y}}_k^{(t)}, \Sigma_k^{(t)})
\]
(1)

其中 \(T\) 为预测时域，\(\mathbf{y}^{*(t)}\) 为时刻 \(t\) 的真实值，\(\hat{\mathbf{y}}_k^{(t)}\) 表示第 \(k\) 个预测轨迹在时刻 \(t\) 的值，\(\Sigma_k\) 为协方差（通常简化为固定的各向同性协方差），\(\hat{p}_k\) 为其混合权重。

#### 事后轨迹选择

在实际应用中，通