学习具有严格适当评分规则的概率滤波器

arXiv cs.LG 论文
probabilistic-filters strictly-proper-scoring-rules bayesian-filtering ensemble-data-assimilation transformer energy-score machine-learning

摘要

本文介绍了Proper Scoring Ensemble Filter (PSEF)，一种基于Transformer的贝叶斯滤波方法，通过在合成状态-观测轨迹上应用严格适当评分规则来训练分析映射。该方法在非线性、非高斯滤波任务中展现出优于传统方法和基于学习的方法的性能。

arXiv:2606.26497v1 公告类型：新 摘要：贝叶斯滤波用于部分和有噪声观测的动态系统，旨在根据观测在线推断动态系统状态的演化条件分布。该贝叶斯滤波分布是不确定性量化的自然目标，但很少作为监督学习的目标可用。然而，人们通常可以利用预测模型生成合成系统轨迹以及合成观测。我们提出了proper scoring ensemble filter (PSEF)，这是一种基于训练分析映射的集合数据同化方法，仅使用合成状态--观测轨迹来近似滤波分布。分析步骤表示为一个排列不变、基于Transformer的映射，它输入预测集合和观测，生成分析集合。训练基于严格适当评分规则——在我们的实现中使用能量评分——从而在整个概率分布上奖励概率准确性。我们证明，在可实现性假设下，总体目标由真实的贝叶斯滤波分布最小化。我们还推导了训练中使用的有限集合经验目标，并通过平均场一致性论证将其单状态--观测轨迹形式与总体目标联系起来。数值实验表明，学习到的滤波器能够准确逼近具有挑战性的滤波分布，包括非线性、非高斯和多模态后验，并且在数据同化任务中比经典方法或基于均方误差目标的基于学习的方法表现出更强的性能。对于接近高斯的问题，学习对EnKF的校正是最佳方法，而对于高度非高斯问题，丢弃这种归纳偏置的端到端方法更为优越。
查看原文
查看缓存全文

缓存时间: 2026/06/26 05:20 

# 通过严格适当评分规则学习概率滤波器

来源：https://arxiv.org/abs/2606.26497  
查看 PDF (https://arxiv.org/pdf/2606.26497)

> 摘要:对部分观测且含噪声的动态系统进行贝叶斯滤波，旨在根据观测在线推断动态系统状态的演化条件分布。该贝叶斯滤波分布是不确定性量化的自然目标，但很少能作为监督学习的目标直接获得。然而，通常可以利用预测模型生成合成系统轨迹以及合成观测。我们引入了适当评分集成滤波器（PSEF），这是一种基于训练分析映射的集成数据同化方法，仅使用合成状态-观测轨迹来近似滤波分布。分析步骤被表示为一个排列不变、基于Transformer的映射，该映射以预测集成和观测为输入，生成分析集成。训练基于严格适当的评分规则——在我们的实现中使用能量评分——从而在整体概率分布上对概率准确性进行奖励。我们证明，在可实现性假设下，总体目标由真实的贝叶斯滤波分布最小化。我们还推导了训练中使用的有限集成经验目标，并通过平均场一致性论证将其单一状态-观测轨迹形式与总体目标联系起来。数值实验表明，学习到的滤波器能够准确逼近具有挑战性的滤波分布，包括非线性、非高斯和多模态后验分布，并在数据同化任务中优于经典方法或基于均方误差目标的基于学习的方法。对于接近高斯的问题，学习对EnKF（集合卡尔曼滤波）进行校正是最佳方法；而对于高度非高斯的问题，采用丢弃这种归纳偏置的端到端方法则更为优越。

## 提交历史

来自：Bohan Chen [查看电子邮件](https://arxiv.org/show-email/a97b8888/2606.26497)  
**[v1]** 2026年6月25日星期四 01:04:21 UTC (5,398 KB)

相似文章

用于真实数据能耗预测校正的 Ensemble Score Filtering

arXiv cs.LG

本文提出使用 Ensemble Score Filter (EnSF)（一种基于评分的扩散数据同化方法），利用部分含噪声的观测数据来校正预训练的时空能耗模型的预测。数值实验表明，EnSF 在状态估计上显著优于开环传播，并且在非线性观测条件下优于集成卡尔曼滤波（Ensemble Kalman Filter）。

无奖励的表征：JEPA对LLM微调的审计

arXiv cs.LG

本文对联合嵌入预测架构（JEPA）在自然语言到正则表达式任务上的LLM微调进行了审计，测试了二十二个辅助目标。结果表明，隐藏状态表征的改进与解码任务准确率之间仅存在弱耦合，没有辅助目标通过族系校正。

物理信息机器学习泛化性的PAC-Bayesian视角

arXiv cs.LG

本文为物理信息机器学习开发了一种PAC-Bayesian框架，为无界损失提供了高概率泛化保证。它提出了一种多任务视角，联合处理数据保真度、偏微分方程残差和边界条件，并引入了一种自界限学习算法。

PEEK：通过高效知识蒸馏选取关键帧

Hugging Face Daily Papers

介绍PEEK，一种高效动态帧采样方法，它从教师模型中蒸馏出字幕条件帧相关性排名，并将其融入轻量级时序模型，在视频字幕生成中优于最先进方法，同时保持计算效率。