标签
本文提出了一种方法,利用潜变量将语言模型的响应分布分解为结构化的、策略条件化的表示,并通过模型导向的重建目标来解决后验塌陷问题。
识别了VAEs中后验坍塌的两个耦合原因,并引入了λ-VAE,这是一种对重新参数化步骤的修改,通过均衡各潜变量维度的方差来减少坍塌并提高信息容量。