autoencoders

本文介绍了无注意力潜记忆和动态重编码，以改进库普曼自编码器中的长时域预测，减少基准动力系统上的误差累积。

本文对神经网络中的叠加现象进行了数学分析，推导了具有幂激活函数的简单自编码器的L2重建损失的上下界，验证了Elhage等人的实证结果。

Physics-conforming Latent Twins 是一种用于学习潜在替代解算子的框架，通过约束转移方法和保持结构的潜在动力学，在设计中强制执行物理原理（如守恒定律和耗散不等式）。

介绍理性稀疏自编码器（RSAE），该模型用可训练的有理函数替换固定的编码器激活，在多个基线族开放权重语言模型的残差流激活上改善重建与稀疏性权衡。

作者分享了他们通过将k-means用作top-1稀疏编码来降低多向量检索成本的工作。Omar Khattab补充说，在无监督稀疏自编码器上使用神经元级别倒排索引的晚期交互稀疏检索效果很好。

本文提出单阶段稀疏检索（SSR），用稀疏自编码器和倒排索引替代K-means聚类，实现了15倍的索引加速和一半的检索延迟，同时在BEIR基准上提升了准确性。

本文介绍了先验对齐自编码器（PAE），这是一种用于构建扩散友好型潜在流形的新型方法，在实现最先进图像生成质量的同时，使训练收敛速度加快 13 倍。

一篇教育性博客文章，讲解向量量化变分自编码器（VQ-VAE）架构——OpenAI DALL-E 图像生成模型的关键组成部分。