基于 RadarScenes 的多帧雷达目标分类 [P]

大家好，我在 RadarScenes 上构建了一个雷达目标分类器，将原有的单帧分类器扩展为在被跟踪目标的历史观测上累积信息，而不是孤立地对每一帧进行分类。一个 RadarScenes 目标实例平均仅包含约 2.9 个雷达点，非常稀疏。单帧也无法捕捉时序特性：RCS 和微多普勒都会随着目标运动而连续变化。行人因肢体运动产生特征性的微多普勒信号；不同目标类别在视角和散射几何随帧间变化时，会表现出不同的 RCS 波动模式。累积观测既能提高点密度，也能提供时序动态信息。多帧基线使用 DeepReflecs 编码器（Ulrich、Glaser & Timm，RadarConf 2021），PointNet 风格，逐点共享权重，在 car、large_vehicle、two_wheeler、pedestrian、pedestrian_group 上对单帧进行分类：宏 F1 为 0.7370。我利用 RadarScenes 的持久化 `track_id`，构建了一个因果的、N=20 的逐轨道滑动窗口缓冲区： - x_seq/y_seq：全局坐标，经过里程计校正，每帧以目标质心为原点重新居中。不同于 x_cc/y_cc（车辆坐标系下会随时间累积形成轨迹）。 - 跨传感器缓冲：当前观察到该轨道的 4 个传感器中，无论哪个都会将数据推入同一缓冲区。 - 步长为 1，因果性：每一帧新扫描都会更新缓冲区并产生预测。不使用未来上下文，兼容实时流式处理。 - 每帧由一个冻结的逐帧编码器编码一次，并缓存结果。 - 融合：将因果 GRU 的隐藏状态（有序感知）与顺序不变的池化嵌入（将 N 帧的所有点视为一个集合，无序列结构）拼接，通过一个小型可训练 MLP 头输出。 **结果** | 模型 | 宏 F1 | 增量 | | --- | --- | --- | | 单帧 | 0.7370 | （基线） | | 20 帧点云池化 | 0.8613 | +0.1243 | | 因果 GRU | 0.8895 | 相对池化 +0.0282 | | GRU + 池化嵌入（融合） | 0.8897 | 相对 GRU +0.0002（噪声） | 仅使用池化，不引入任何序列模型，完全不考虑帧顺序，就恢复了 +0.1243 的宏 F1。GRU 在此基础上增加了真实但小得多的 +0.0282。融合相比 GRU 没有可测量的增益。 **消融实验** 更大的 GRU、Transformer、状态空间模型、点级自注意力——全部在完全相同的冻结逐帧嵌入上训练——结果都落在 0.86 到 0.89 的区间内，差距仅 0.03。对冻结编码器进行端到端微调反而使结果略微变差（约 -0.002 到 -0.003），并没有更好。 **结论** 因此，在这个设置下，大部分改进来自累积更多的雷达回波，而不是序列模型的选择。一旦逐帧嵌入被固定下来，所有被测试的序列模型相对于池化表征都没有使宏 F1 变化超过约 0.003。这并不一定意味着时序顺序不包含有用的信息，而是说明当前的逐帧表征和序列模型没有提取到太多额外的判别信号。因此，结果表明，改进点级/逐帧表征可能是比继续搜索序列架构更有前景的方向。 完整报告、所有消融实验、混淆矩阵、坐标系推理：https://github.com/brunopinto900/radar-ml-autonomous-driving/blob/track-accumulation/final_report.md 感谢阅读。