变分有损自编码器

OpenAI Blog 论文
variational-autoencoder representation-learning generative-models autoregressive-models deep-learning unsupervised-learning

摘要

# 变分有损自编码器 来源: [https://openai.com/index/variational-lossy-autoencoder/](https://openai.com/index/variational-lossy-autoencoder/) ## 摘要 表示学习旨在将观测数据的某些方面暴露在学习表示中，这种表示便于分类等下游任务。例如，对于二维图像，一个好的表示可能是只描述全局结构并丢弃有关详细纹理信息的表示。在本文中，我们提出

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/04/20 14:51

# 变分有损自编码器 来源：https://openai.com/index/variational-lossy-autoencoder/ ## 摘要 表示学习旨在将观察到的数据的某些方面暴露在学习表示中，这种表示易于用于下游任务，如分类。例如，2D 图像的良好表示可能是仅描述全局结构而丢弃有关详细纹理信息的表示。在本文中，我们提出了一种简单但有原则的方法来学习这样的全局表示，它结合了变分自编码器（VAE）与神经自回归模型，如 RNN、MADE 和 PixelRNN/CNN。我们提出的 VAE 模型允许我们控制全局潜在编码可以学习的内容，通过相应地设计架构，我们可以强制全局潜在编码丢弃不相关的信息，例如 2D 图像中的纹理，因此 VAE 仅以有损的方式"自编码"数据。此外，通过将自回归模型用作先验分布 p(z) 和解码分布 p(x|z)，我们可以大幅改进 VAE 的生成建模性能，在 MNIST、OMNIGLOT 和 Caltech-101 Silhouettes 密度估计任务上取得了新的最先进结果。

相似文章

Sparse Autoencoders as Plug-and-Play Firewalls for Adversarial Attack Detection in VLMs

Hugging Face Daily Papers

# Paper page - Sparse Autoencoders as Plug-and-Play Firewalls for Adversarial Attack Detection in VLMs Source: [https://huggingface.co/papers/2605.07447](https://huggingface.co/papers/2605.07447) ## Abstract SAEgis detects adversarial attacks on vision\-language models using sparse autoencoders trained for reconstruction, achieving strong performance across domains without additional training\. [Vision\-language models](https://huggingface.co/papers?q=Vision-language%20models)\(VLMs\) have advan

变分选项发现算法

OpenAI Blog

OpenAI研究人员提出了VALOR，这是一种用于选项发现的变分推断方法，它将选项学习与变分自编码器联系起来，并提出了一种课程学习方法，通过动态增加上下文复杂性来稳定训练。

先连续后离散：解决维度坍塌问题的VQ-VAE

arXiv cs.LG

本文探讨了VQ-VAE中常见的维度坍塌问题，指出模型表示通常局限于低维子空间。研究提出了一种“自编码器预热（AE Warm-Up）”策略，即首先将模型作为未量化的自编码器进行训练，从而提升重建质量并增加潜在空间的有效维度。