翻译中的迷失与发现:神经码本通道的变分诊断

arXiv cs.LG 论文

摘要

本文介绍了VAEs的神经码本通道诊断方法,该方法衡量编码器-解码器不一致性,并提供一个受变分差距约束的证书,从而能够在深度生成模型中检测不匹配的解码。

arXiv:2605.18846v1 Announce Type: new 摘要:经典通信系统不仅因随机噪声而失败,当发射机和接收机使用不兼容的操作码本时也会失败。变分自编码器(VAEs)联合训练编码器 $q_\phi$ 和解码器 $p_\theta$,实践者将得到的潜在空间视为离散码——用于聚类、条件生成和机制可解释性。然而,标准VAE诊断——ELBO、活跃单元、互信息和码直方图——仅证明这个码是否被使用,却从未证明解码器是否在编码器的码下读取每个潜在变量。 我们通过神经码本通道 $K_{e\to d}(j\mid i)$ 填补了这一空白,这是一种耦合的编码器-解码器诊断,其非对角线质量受一个无架构依赖的伯努利-KL证书 $d_{\mathrm{bin}}(1-\mathcal{A} \,\|\, \bar\eta_p) \le \bar\Delta$ 约束,该证书由变分差距控制。该证书是经典KL链式法则在分解到编码器-解码器不一致事件时的操作特化,并辅以一个建设性的边缘不可能性结果:没有任何边缘直方图、熵、活跃码计数或互信息的组合能确定 $K_{e\to d}$。 我们在四个sklearn数据集(有限网格精确,5/5种子,20/20对满足界)、一个二维模型(其中该界非平凡,为观测不一致性的 $2.71\times$,且四项恒等式在 $10^{-4}$ 内闭合)、MNIST(在重要性采样控制下)以及一个达到预测极限 $\hat{\mathcal{A}}=1.000$ 的VQ-VAE上验证了该证书。包 $(K_{e\to d}, \mathcal{A}, R_{\mathrm{eff}}, R, \mathrm{AU})$ 是一个可审计的报告单元。更广泛地说,该框架使得不匹配解码——经典通信理论数十年前命名的一种故障模式——在单个深度生成模型内部变得可见。
查看原文

相似文章

基于解码器的生成模型的定量分析

OpenAI Blog

本文提出使用退火重要性采样(Annealed Importance Sampling)来评估基于解码器的生成模型(VAE、GAN等)的对数似然,解决了难以计算似然估计的问题。作者验证了该方法的有效性,并提供了评估代码来分析模型性能、过拟合情况和模式覆盖度。

变分有损自编码器

OpenAI Blog

# 变分有损自编码器 来源: [https://openai.com/index/variational-lossy-autoencoder/](https://openai.com/index/variational-lossy-autoencoder/) ## 摘要 表示学习旨在将观测数据的某些方面暴露在学习表示中,这种表示便于分类等下游任务。例如,对于二维图像,一个好的表示可能是只描述全局结构并丢弃有关详细纹理信息的表示。在本文中,我们提出

变分选项发现算法

OpenAI Blog

OpenAI研究人员提出了VALOR,这是一种用于选项发现的变分推断方法,它将选项学习与变分自编码器联系起来,并提出了一种课程学习方法,通过动态增加上下文复杂性来稳定训练。