标签
哥伦比亚大学的研究人员提出了层次嵌入式主题模型(hETM),该模型通过嵌入空间中的层次先验,将文档级与章节级的主题分布关联起来,并采用摊销变分推断,在法律、金融和论坛语料库上均表现出更低的困惑度、更高的主题质量和更好的聚类效果。
提出了一种基于条件归一化流的摊销变分推断方法,构建加权似然的局部后验来处理模型校准中的模型偏差与上下文不确定性,并在Branin-Hoo孪生实验及单柱海洋模型的k-ε湍流闭合校准中验证了其相较于全局后验的误差降低效果。
该论文指出了 VampPrior 的两大关键局限——先验与后验协方差绑定以及固定的均匀混合权重——并提出解耦协方差结合狄利克雷过程混合的方法,从而改进了模型证据和聚类效果,尤其是在将其加入 scVI 并应用于六个单细胞图谱时效果显著。
本文指出,大语言贝叶斯(LLB)——即利用指数化证据下界得到的权重,对语言模型生成的概率程序的后验进行加权平均的框架——并不具备重参数化不变性。等价的程序写法可能获得显著不同的权重(差异最高可达 31.9 倍,甚至可导致符号反转),进而颠倒贝叶斯因子,并在模型后验中引入误差;该误差由下界缺口的离散程度所控制,可通过一个紧致的 Hilbert 距离界加以刻画。
论文提出了 Hierarchical Continuous Diffusion Language Models(HC-DLM),将离散 token 生成与连续隐变量轨迹耦合到单个去噪过程中,该过程的训练目标源自 token 似然的变分下界。在 Sudoku、Countdown 和 LM1B 任务上,HC-DLM 优于离散与连续扩散基线模型。
FB-GDM 引入了一种用于高维线性逆问题的全贝叶斯引导扩散方法,消除了针对每个任务的超参数调优,并展示了相对于现有技术的稳健性能提升。
本文提出RiVaT-Fuse,一种可靠性校准的变分张量融合框架,用于模态不确定性下的多模态预测,该框架估计样本级的潜在状态以提高图像-元数据任务中的预测性能和稳定性。
论文介绍了一个统一的贝叶斯变分框架,结合 spike-and-slab 稀疏性和高斯混合量化,用于在大神经网络中实现高压缩率,同时最小化精度损失。
研究表明,最小化预期自由能(EFE)等价于求解一个以预期信息增益为效用且探索权重固定为1的ρ-POMDP。证明了在“先观测后决策”POMDP中的等价性,并将其扩展到因子化观测POMDP,实验表明未调优的权重与仅依赖奖励的规划相比效果相当或更优。
本文提出了一种方法,利用潜变量将语言模型的响应分布分解为结构化的、策略条件化的表示,并通过模型导向的重建目标来解决后验塌陷问题。
本文针对变分贝叶斯变量选择下的部分探索性因子分析(PEFA),开发了后选择拟合评估方法,提出了绝对与相对拟合诊断指标以及一种用于因子数选择的无尺度增益规则,并通过仿真和实证案例进行了验证。
这篇论文提供了211页的纸笔练习合集,涵盖了机器学习的关键主题,包括线性代数、优化、图模型和变分推断,旨在作为教育资源。
本文研究了使用变分推断训练的贝叶斯神经网络的数据增强方法,推导了精确等变性的条件,并引入了新颖的对称化技术(如轨道扩展)以提升对称性和性能。
本文介绍了持续IVON(CoVON)优化器,它将快速和慢速适应整合到变分持续学习中,以平衡稳定性和可塑性,在领域增量学习、持续预训练以及大型语言模型的微调中优于现有方法。
本文提出了隐式变分拒绝采样(Implicit Variational Rejection Sampling, IVRS),该方法将隐式分布与拒绝采样相结合,以改进变分推断中的后验近似,并引入了隐式重采样证据下界(Implicit Resampling Evidence Lower Bound, IR-ELBO)作为更紧的变分下界。
本文通过证明增广生成模型的变分自由能(VFE)可以分解为预测模型的VFE加上显式熵修正项,对基于期望自由能(EFE)的规划给出了完整的变分刻画。作者推导了一种用于EFE规划的消息传递方案,并在网格世界环境中进行了验证。
提出了一种数学上严格的框架——变分推断的深度证据学习(VI-EDL),通过变分推断重新表述传统深度证据学习,推导出证据下界,建立泛化界,并在视觉和医学数据集上实现了最先进的性能,以解决传统深度证据学习的局限性。
提出了摊销因子推理网络(AFINs),这是一类编码-合并-解码推理网络,能够泛化到不同的先验、似然和维度,在计算量少得多的条件下实现与NUTS相当的后验精度。
本文将对高斯过程和潜在神经过程后验之间的预测KL散度分解为三项,提供了刻画近似误差的上界,并将表示维度与核平滑度联系起来。
本文介绍了通过分层高斯滤波器实现的闭式预测编码,该编码恢复了精度加权的预测误差,从而在没有全局误差信号的情况下实现更快、更高效的训练,并在某些任务上优于反向传播。