标签
研究表明，最小化预期自由能（EFE）等价于求解一个以预期信息增益为效用且探索权重固定为1的ρ-POMDP。证明了在“先观测后决策”POMDP中的等价性，并将其扩展到因子化观测POMDP，实验表明未调优的权重与仅依赖奖励的规划相比效果相当或更优。
本文提出了一种方法，利用潜变量将语言模型的响应分布分解为结构化的、策略条件化的表示，并通过模型导向的重建目标来解决后验塌陷问题。
本文针对变分贝叶斯变量选择下的部分探索性因子分析（PEFA），开发了后选择拟合评估方法，提出了绝对与相对拟合诊断指标以及一种用于因子数选择的无尺度增益规则，并通过仿真和实证案例进行了验证。
这篇论文提供了211页的纸笔练习合集，涵盖了机器学习的关键主题，包括线性代数、优化、图模型和变分推断，旨在作为教育资源。
本文研究了使用变分推断训练的贝叶斯神经网络的数据增强方法，推导了精确等变性的条件，并引入了新颖的对称化技术（如轨道扩展）以提升对称性和性能。
本文介绍了持续IVON（CoVON）优化器，它将快速和慢速适应整合到变分持续学习中，以平衡稳定性和可塑性，在领域增量学习、持续预训练以及大型语言模型的微调中优于现有方法。
本文提出了隐式变分拒绝采样（Implicit Variational Rejection Sampling, IVRS），该方法将隐式分布与拒绝采样相结合，以改进变分推断中的后验近似，并引入了隐式重采样证据下界（Implicit Resampling Evidence Lower Bound, IR-ELBO）作为更紧的变分下界。
本文通过证明增广生成模型的变分自由能（VFE）可以分解为预测模型的VFE加上显式熵修正项，对基于期望自由能（EFE）的规划给出了完整的变分刻画。作者推导了一种用于EFE规划的消息传递方案，并在网格世界环境中进行了验证。
提出了一种数学上严格的框架——变分推断的深度证据学习（VI-EDL），通过变分推断重新表述传统深度证据学习，推导出证据下界，建立泛化界，并在视觉和医学数据集上实现了最先进的性能，以解决传统深度证据学习的局限性。
提出了摊销因子推理网络（AFINs），这是一类编码-合并-解码推理网络，能够泛化到不同的先验、似然和维度，在计算量少得多的条件下实现与NUTS相当的后验精度。
本文将对高斯过程和潜在神经过程后验之间的预测KL散度分解为三项，提供了刻画近似误差的上界，并将表示维度与核平滑度联系起来。
本文介绍了通过分层高斯滤波器实现的闭式预测编码，该编码恢复了精度加权的预测误差，从而在没有全局误差信号的情况下实现更快、更高效的训练，并在某些任务上优于反向传播。
本文介绍了 VPG-EA 框架，该框架利用变分推断和后验引导，通过解决思维链生成中的“过度思考”现象，提高了大语言模型的推理效率。
本文提出一种探索感知的强化学习框架，使LLM代理仅在不确定性高时自适应探索，从而提升在基于文本和基于GUI的基准测试上的性能。
OpenAI研究人员提出了VALOR，这是一种用于选项发现的变分推断方法，它将选项学习与变分自编码器联系起来，并提出了一种课程学习方法，通过动态增加上下文复杂性来稳定训练。