翻译中的迷失与发现:神经码本通道的变分诊断
摘要
本文介绍了VAEs的神经码本通道诊断方法,该方法衡量编码器-解码器不一致性,并提供一个受变分差距约束的证书,从而能够在深度生成模型中检测不匹配的解码。
相似文章
基于解码器的生成模型的定量分析
本文提出使用退火重要性采样(Annealed Importance Sampling)来评估基于解码器的生成模型(VAE、GAN等)的对数似然,解决了难以计算似然估计的问题。作者验证了该方法的有效性,并提供了评估代码来分析模型性能、过拟合情况和模式覆盖度。
变分有损自编码器
# 变分有损自编码器 来源: [https://openai.com/index/variational-lossy-autoencoder/](https://openai.com/index/variational-lossy-autoencoder/) ## 摘要 表示学习旨在将观测数据的某些方面暴露在学习表示中,这种表示便于分类等下游任务。例如,对于二维图像,一个好的表示可能是只描述全局结构并丢弃有关详细纹理信息的表示。在本文中,我们提出
ELVAE:基于证据学习的变分自编码器用于不确定性感知生成
介绍了ELVAE,一种采用证据学习的VAE,通过正态-逆伽马后验对潜在坐标进行建模,以获得显式的不确定性估计。在MNIST上的实验表明,类内不确定性排序可以对合成样本的可靠性和压力测试进行分层,但结果需要按类别归一化,且在不同随机种子间存在差异。
TRACE:面向通信高效分布式边缘推理的Transformer残差激活码本编码
论文提出 TRACE(Transformer Residual Activation Codebook Encoding),在每个 Transformer 层的后注意力残差处放置向量量化器并预计算码本索引化的键值表示,使分布式边缘设备推理中接收方通过查表直接恢复 K/V,实现通信-计算重叠;在 ViT-Base 与 ViViT-B 上相比最优 VQ 分布式推理框架最高提升 1.89% 精度与 1.27 倍端到端加速,通信开销最高降低 22,624 倍。
Codec-Gauge:为Transformer KV缓存学习压缩友好的变换框架
Codec-Gauge 为Transformer KV缓存学习小型正交通道变换(度量),以在固定比特率下提高压缩保真度,显著降低多个模型和后端上的KL散度。