基于解码器的生成模型的定量分析

# 基于解码器的生成模型的定量分析 来源：https://openai.com/index/on-the-quantitative-analysis-of-decoder-based-generative-models/ ## 摘要 过去几年来，生成模型取得了显著进展，能够生成令人信服的图像和其他模态的样本。许多强大的生成模型都共享一个关键组件——解码器网络，这是一个参数化的深度神经网络，定义了生成分布。例如包括变分自编码器、生成对抗网络和生成矩匹配网络。遗憾的是，由于对数似然估计的不可解性，很难量化这些模型的性能，而仅通过检查样本可能会产生误导。我们建议使用退火重要性采样来评估基于解码器的模型的对数似然，并使用双向蒙特卡洛验证其准确性。评估代码已在此处提供 https://github.com/tonywu95/eval_gen（在新窗口中打开）。使用这种技术，我们分析了基于解码器的模型的性能、现有对数似然估计器的有效性、过拟合程度，以及这些模型对数据分布重要模态的遗漏程度。