分数匹配学习的有限样本界
摘要
本文首次为使用分数匹配学习多项式指数族提供了非渐近样本复杂度界,显示出对模型维度的多项式依赖。
arXiv:2605.14168v1 公告类型:新
摘要:对于高维统计的理论和应用而言,学习具有无界支撑的连续指数族分布仍是一个重要研究领域。近年来,由于在计算上比最大似然估计更为简便,分数匹配已成为学习连续变量指数族的广泛使用的方法。然而,对分数匹配统计性质的理论理解仍有欠缺。本文针对使用分数匹配学习多项式指数族结构,提供了一种非渐近样本复杂度分析。导出的样本界显示出对模型维度的多项式依赖。这些界是此类结果中的首例,因为此前所有工作仅显示了样本复杂度的渐近界。
查看缓存全文
缓存时间: 2026/05/15 06:27
# 基于得分匹配学习的有限样本界 来源:https://arxiv.org/abs/2605.14168 查看PDF (https://arxiv.org/pdf/2605.14168) > **摘要:** 对于具有无界支撑的连续指数族分布的学习,无论从理论还是高维统计的应用角度来看,仍然是一个重要的研究方向。近年来,得分匹配已成为学习连续变量指数族的常用方法,因为与极大似然估计相比,它在计算上更为简便。然而,对得分匹配统计性质的理论理解仍显不足。本文针对多项式指数族结构的学习,给出了基于得分匹配的非渐近样本复杂度分析。推导出的样本界显示其与模型维度呈多项式依赖关系。这些界是此类结果中的首例,因为此前所有工作仅给出了样本复杂度的渐近界。 ## 提交历史 来自:Devin Smedira [查看邮件 (https://arxiv.org/show-email/961e51ad/2605.14168)] **\[v1\]** Wed, 13 May 2026 22:48:18 UTC (31 KB)
相似文章
基于Lyapunov的弱耦合MDP样本复杂度分析
本文研究了平均奖励弱耦合MDP和休止臂赌博机学习中的样本复杂度,利用一种新颖的基于Lyapunov的分析框架,确立了具有多项式复杂度的有限样本PAC保证。
从隐私到泛化:DP-SGD的线性最大信息界
本文证明了DP-SGD近似最大信息的一个有限样本界,该界最多与数据集大小成线性关系,从而为差分隐私训练的模型带来了PAC-Bayes泛化界。
通过平滑MMD对齐增强LLM中的数值预测
引入平滑最大均值差异(SMMD),一种损失函数,通过核匹配和基于图的平滑性将预测数值分布与目标对齐,提高了LLM在多个任务中的数值预测准确性。
基于分数的潜在变量因果模型因果发现
本文介绍了在存在潜在变量情况下进行因果发现的基于分数的方法,提供了一致性和分数等价性的理论保证,并统一了几种基于约束的方法。
基于方差缩减的零阶非对数凹采样及其在逆问题中的应用
提出了一种用于非对数凹分布的方差缩减零阶朗之万采样方法,建立了首个非渐近收敛保证,并将其应用于基于分数的生成先验的逆问题中。