autoencoders

该论文提出了一种基于 Transformer 的文本自编码器，采用残差式下采样/上采样和离散瓶颈结构，在网络文本上实现了每字节 2.24 比特的压缩率——这是文献中文本自编码器所达到的最高压缩率——同时保持了出色的重建质量和下游任务性能。

GRACE提出两阶段的生成感知潜空间压缩框架，在保持与预训练DiT兼容的前提下提高视频自编码器的压缩率，使Wan2.1-I2V-14B的token数减少8倍、延迟降低11.1倍，同时在VBench上保持与压缩前同等的生成质量。

提出了 DC-SAE（解耦紧凑语义自编码器），在保持高保真重建的同时实现 32 倍空间压缩，并加速扩散模型的训练收敛，显著超越此前的高压缩分词器 SOTA——DC-AE。

本文提出了一种基于自动编码器和迭代优化的无注意力掩码语言建模方法，其性能与BERT相当，且FLOPs更少。

FuseReg是一种用于表示自编码器的正则化方法，通过在训练过程中使用随机层子集采样来缓解重建-生成差距，从而提高生成性能并增强解码器在不同层输入下的鲁棒性。

本文表明，为重建而微调自编码器会降低有效维度，使得标准速度预测在扩散模型中效率低下，并提出使用x0预测来聚焦于信号流形，从而持续提升文本到图像生成性能。

本文介绍了稀疏 Koopman 自编码器 (SKAE)，用于在多盆地非线性系统中识别局部动态区域，展示了优越的预测性能和可解释的潜在支持。

本文研究随机初始化自编码器中的不动点与稳定性，并使用随机矩阵理论和高斯过程引入局部和全局混沌边缘概念。

介绍了JUGAAD，一个深度学习框架，利用自编码器和人口普查/地理空间数据，将印度的社会经济指标从粗糙的调查分辨率降尺度到细粒度的村庄集群尺度，并针对地区级的NSSO数据进行了验证。

本文研究了将边界搜索知识蒸馏（CAKE）应用于瓶颈式生成自编码器时的失效情况，表明共享的潜在流形会产生梯度冲突，阻碍对比样本的有效合成。相反，本文提出了一种简单的噪声前向传播基线方法。

本文介绍了无注意力潜记忆和动态重编码，以改进库普曼自编码器中的长时域预测，减少基准动力系统上的误差累积。

本文对神经网络中的叠加现象进行了数学分析，推导了具有幂激活函数的简单自编码器的L2重建损失的上下界，验证了Elhage等人的实证结果。

Physics-conforming Latent Twins 是一种用于学习潜在替代解算子的框架，通过约束转移方法和保持结构的潜在动力学，在设计中强制执行物理原理（如守恒定律和耗散不等式）。

介绍理性稀疏自编码器（RSAE），该模型用可训练的有理函数替换固定的编码器激活，在多个基线族开放权重语言模型的残差流激活上改善重建与稀疏性权衡。

作者分享了他们通过将k-means用作top-1稀疏编码来降低多向量检索成本的工作。Omar Khattab补充说，在无监督稀疏自编码器上使用神经元级别倒排索引的晚期交互稀疏检索效果很好。

本文提出单阶段稀疏检索（SSR），用稀疏自编码器和倒排索引替代K-means聚类，实现了15倍的索引加速和一半的检索延迟，同时在BEIR基准上提升了准确性。

本文介绍了先验对齐自编码器（PAE），这是一种用于构建扩散友好型潜在流形的新型方法，在实现最先进图像生成质量的同时，使训练收敛速度加快 13 倍。

一篇教育性博客文章，讲解向量量化变分自编码器（VQ-VAE）架构——OpenAI DALL-E 图像生成模型的关键组成部分。