分数匹配学习的有限样本界
摘要
本文首次为使用分数匹配学习多项式指数族提供了非渐近样本复杂度界,显示出对模型维度的多项式依赖。
arXiv:2605.14168v1 公告类型:新
摘要:对于高维统计的理论和应用而言,学习具有无界支撑的连续指数族分布仍是一个重要研究领域。近年来,由于在计算上比最大似然估计更为简便,分数匹配已成为学习连续变量指数族的广泛使用的方法。然而,对分数匹配统计性质的理论理解仍有欠缺。本文针对使用分数匹配学习多项式指数族结构,提供了一种非渐近样本复杂度分析。导出的样本界显示出对模型维度的多项式依赖。这些界是此类结果中的首例,因为此前所有工作仅显示了样本复杂度的渐近界。
查看缓存全文
缓存时间: 2026/05/15 06:27
# 基于得分匹配学习的有限样本界 来源:https://arxiv.org/abs/2605.14168 查看PDF (https://arxiv.org/pdf/2605.14168) > **摘要:** 对于具有无界支撑的连续指数族分布的学习,无论从理论还是高维统计的应用角度来看,仍然是一个重要的研究方向。近年来,得分匹配已成为学习连续变量指数族的常用方法,因为与极大似然估计相比,它在计算上更为简便。然而,对得分匹配统计性质的理论理解仍显不足。本文针对多项式指数族结构的学习,给出了基于得分匹配的非渐近样本复杂度分析。推导出的样本界显示其与模型维度呈多项式依赖关系。这些界是此类结果中的首例,因为此前所有工作仅给出了样本复杂度的渐近界。 ## 提交历史 来自:Devin Smedira [查看邮件 (https://arxiv.org/show-email/961e51ad/2605.14168)] **\[v1\]** Wed, 13 May 2026 22:48:18 UTC (31 KB)
相似文章
从隐私到泛化:DP-SGD的线性最大信息界
本文证明了DP-SGD近似最大信息的一个有限样本界,该界最多与数据集大小成线性关系,从而为差分隐私训练的模型带来了PAC-Bayes泛化界。
基于分数的潜在变量因果模型因果发现
本文介绍了在存在潜在变量情况下进行因果发现的基于分数的方法,提供了一致性和分数等价性的理论保证,并统一了几种基于约束的方法。
基于方差缩减的零阶非对数凹采样及其在逆问题中的应用
提出了一种用于非对数凹分布的方差缩减零阶朗之万采样方法,建立了首个非渐近收敛保证,并将其应用于基于分数的生成先验的逆问题中。
高阶光滑非凸优化中尖锐的一阶下界
本文证明了在高阶光滑非凸优化中寻找ε-稳定点的无维数尖锐一阶下界,解决了Hessian-Lipschitz和三阶光滑情况下的公开问题。
扩散、基于分数和流匹配生成模型的统一测度论视角
本预印本提出了一个统一的测度论框架,用于理解扩散、基于分数和流匹配生成模型。它通过连续性/福克-普朗克方程建立了这些方法之间的联系,并分析了它们的采样方案及其理论保证。