generative-modeling

本文介绍了 MeLISA，这是一种无需潜变量的自回归生成代理模型，用于预测高维物理动力学。该模型利用像素空间的 MeanFlow 实现高效的单步生成。与神经算子相比，MeLISA 在湍流基准测试中展现出更优越的长程统计精度和推理速度。

OpenAI推出了稀疏Transformer，一种深度神经网络，将注意力机制的复杂度从O(N²)优化到O(N√N)，使得能够对长度超过以前30倍的序列进行建模，适用于文本、图像和音频领域。该模型采用稀疏注意力模式和基于检查点的内存优化技术，可以训练深达128层的网络，在多个领域实现了最先进的性能。

OpenAI 提出了基于能量的模型 (EBM) 的隐式生成和泛化方法，该方法使用 Langevin 动力学进行迭代优化以生成样本，无需显式生成器网络。该方法具有多个优势，包括自适应计算时间、学习不连通数据模式的灵活性，以及通过专家乘积实现的内置组合性。