用于神经主题建模的混合经典-量子变分自编码器

# 混合经典-量子变分自编码器用于神经主题建模
来源：https://arxiv.org/html/2606.13852
###### 摘要

神经主题模型能够实现可扩展的语义发现，但它们与量子硬件的集成仍鲜有探索。我们提出了一种用于主题建模的概念验证型混合经典-量子变分自编码器（VAE），在VAE推理网络中嵌入参数化量子电路，同时保留经典的主题-词解码器。为了应对量子硬件的资源限制，我们提出了一种改进的高斯Softmax后验分布，将潜在空间维度与待提取的主题数量解耦，使得模型能够在仅有10量子比特的低资源量子设备上运行。在AgNews数据集上，混合VAE优于最先进的神经主题模型（NTM），达到了0.71的C\_v一致性分数和0.20的NPMI分数，同时保持了较高的主题多样性。作为对比，我们还构建了一个纯经典变体，该变体在AgNews上也优于最先进模型，并在潜在空间中表现出清晰的类别分离。这些结果表明，即使在NISQ时代的设备上，混合VAE在计算上也是可行的，并为量子增强的主题建模指明了一个有前景的方向。

###### 关键词：

主题建模，自然语言处理，变分自编码器（VAE），量子机器学习（QML），参数化量子电路（PQC）

## 1 引言

主题建模是一种机器学习技术，用于以无监督方式揭示文档集合中的潜在主题。主题由一组语义相关的词表示，这些词共同描述连贯且 distinct 的语义概念。例如，主题“政治”可能由“法律”、“政策”和“政府”等词描述。由于其可解释性，主题建模在文本分析、文档检索和内容推荐等应用中广泛使用。传统的主题建模方法包括贝叶斯概率模型（如潜在狄利克雷分配LDA）和矩阵分解方法。LDA [1 (https://arxiv.org/html/2606.13852#bib.bib1)] 是最流行的技术之一，它使用贝叶斯推理通过将文档视为主题上的分布来发现潜在主题。另一方面，矩阵分解将词-文档矩阵分解为两个低秩矩阵：一个描述词-主题关系，另一个描述主题-文档关系。

然而，传统方法面临重大挑战，包括对大型数据集的可扩展性差以及无法捕捉主题与词之间的非线性关系。为了克服这些限制，神经主题模型（NTM）应运而生，它们可以利用GPU在大型数据集上进行高效且灵活的训练。在本文中，我们提出并分析了一种流行的NTM（即变分自编码器VAE）的混合版本的性能。

受量子机器学习近期进展的启发，本文探索了如何将参数化量子电路集成到基于VAE的主题模型中，同时保持有竞争力的性能。具体而言，我们将量子组件嵌入VAE推理网络，并将生成的混合模型与纯经典对应物在标准主题建模基准上进行对比。通过这项研究，我们为混合经典-量子神经主题建模提供了概念验证，并评估了量子组件对主题一致性、多样性和潜在空间组织的影响。

## 2 相关工作

与提供潜在表示确定性点估计的标准自编码器不同，VAE生成描述潜在空间分布的潜在变量。传统自编码器的潜在空间通常是稀疏且不连续的，而VAE的潜在空间平滑且连续，能够产生有意义且一致的采样数据点（主题）。因此，VAE更适合从文档集合中提取和组织主题。

基于VAE的NTM包括一个推理网络（编码器）和一个生成网络（softmax解码器）。编码器从词袋（BoW）文档表示x中推断潜在变量，参数化从中采样主题分布向量z的分布。假设文档集合遵循先验分布p(z)，该分布可以近似以确定文档中的主题分布。因此，编码器φ计算q\_φ(z|x)，即p(z|x)的变分近似，其中p(z|x)=p(z,x)/p(x)，由于p(x)=∫ p(x|z)p(z)dz中的积分而难以处理。该近似通过最小化KL散度KL[q\_φ(z|x)||p(z|x)]=log p(x)-ELBO来获得，其中ELBO是证据下界。由于log p(x)相对于z是常数，这等价于最小化-ELBO=KL[q\_φ(z|x)||p(z)] - E\_\{q\_φ(z|x)\}(log p(x|z))。p(x|z)是条件分布，由解码器θ提供，它重建原始文档表示x。因此，损失函数表示为：

L\_\{φ,θ\} = -ELBO = KL[q\_φ(z|x)||p(z)] - E\_\{q\_φ(z|x)\}(log p\_θ(x|z))， (1)
其中第二项是重建损失，第一项（KL散度）正则化变分分布使其接近先验分布。解码器通常是一个无偏置的全连接层W，其中p\_θ(x|z)=softmax(Wz)。

通常，先验分布假设为高斯分布，因此编码器推断分布(μ, log σ)的均值和标准差的对数。不是直接使用z∼N(μ,σ)，而是应用重参数化技巧z=μ+σε，其中ε∼N(0,I)，以缓解训练不稳定性[5 (https://arxiv.org/html/2606.13852#bib.bib5)]。然而，在主题建模中，高斯先验并不总是适用，因为它倾向于将潜在空间中的主题均值推向中心，从而导致主题纠缠。因此，提出了其他方法来近似先验p(z)。

[11 (https://arxiv.org/html/2606.13852#bib.bib11)] 引入了高斯Softmax（GSM）技术，该技术对z应用线性变换，然后使用softmax激活函数：g(z)=softmax(Wz+b)。GSM的一个关键优势是潜在空间维度可以小于主题数量——我们将在后面利用这一特性。[22 (https://arxiv.org/html/2606.13852#bib.bib22)] 提出使用拉普拉斯近似来近似狄利克雷多项分布。狄利克雷分布特别有用，因为它定义在(K-1)维单纯形上，允许控制主题比例分布。[3 (https://arxiv.org/html/2606.13852#bib.bib3)] 建议利用语义丰富的词嵌入，通过将主题-词矩阵分解为主题嵌入矩阵和词嵌入矩阵的乘积来增强主题模型。基于先前工作，[28 (https://arxiv.org/html/2606.13852#bib.bib28)] 提出了vONTSS，一种基于最优传输的NTM（也用于2025 [25 (https://arxiv.org/html/2606.13852#bib.bib25)]），在AgNews和20News基准数据集上的无监督设置中优于现有NTM。vONTSS编码器φ将词袋（BoW）文档表示映射为von Mises-Fisher（vMF）分布的(μ, k)参数，从中采样潜在向量η。使用vMF分布是为了通过限制表达能力来缓解通常归因于高斯先验的主题纠缠。此外，在应用softmax之前，向量η通过一个温度函数来调整生成的主题分布向量z。从z出发，解码器使用可训练的主题嵌入矩阵和冻结的词嵌入矩阵重建原始的BoW表示。

除了经典自编码器，量子与混合自编码器在量子机器学习文献中获得了广泛关注，并展现出优于经典对应物的潜力。其中一些方法已在真实量子设备上实验实现，证明了它们在近中期量子硬件上的可行性。在一项开创性研究中，[16 (https://arxiv.org/html/2606.13852#bib.bib16)] 引入了一种量子自编码器，旨在以超越经典能力的方式压缩量子态。与经典自编码器不同（输入和输出都是经典的），他们的方法直接将量子输入映射到量子输出，在量子电路内部进行压缩。另一个值得注意的量子生成模型由[7 (https://arxiv.org/html/2606.13852#bib.bib7)] 提出，他们开发了基于退火生成模型的第一个量子VAE。这项工作后来在生成化学[6 (https://arxiv.org/html/2606.13852#bib.bib6)] 中得到了应用，展示了量子增强VAE对复杂概率分布建模的潜力。

最近，混合量子-经典自编码器已成为有前景的架构。这些架构将参数化量子电路（PQC）集成到经典自编码器结构中，以改进各种任务，如无监督降维和异常检测[14 (https://arxiv.org/html/2606.13852#bib.bib14),17 (https://arxiv.org/html/2606.13852#bib.bib17)]。一种常见的方法是使用经典编码器生成潜在表示，然后由PQC处理，再通过测量得到期望值，作为经典解码器的输入。或者，有些方法完全用PQC替换经典编码器或解码器，从而直接从量子态提取信息或学习量子测量的概率分布[21 (https://arxiv.org/html/2606.13852#bib.bib21),13 (https://arxiv.org/html/2606.13852#bib.bib13)]。值得注意的是，这些方法已被证明能够仅用线性数量的参数高效学习困难量子态（例如，Haar随机态），而经典模型需要指数级参数。

最近有几项工作采用NISQ导向的策略，其中经典模型首先压缩输入，量子组件仅作用于所得的低维潜在空间。[20 (https://arxiv.org/html/2606.13852#bib.bib20)] 训练了一个受ResNet10启发的卷积自编码器用于图像重建，提取其64维潜在表示，通过幅度编码映射到六个量子比特，并使用QSVM/QOCSVM模块进行分类和异常检测。他们的结果表明，当重建潜在空间保留判别信息时，下游量子模块可以工作良好，但在更抽象或类别不平衡的图像数据上性能下降。在一项相关的MNIST研究中，[18 (https://arxiv.org/html/2606.13852#bib.bib18)] 将图像压缩为64个自编码器特征，进一步降维到五个主成分，映射到5量子比特电路，并对所得的32维测量分布进行分类；混合模型虽保持功能，但落后于经典潜在空间基线，说明了量子编码前激进压缩的成本。在图像数据之外，[24 (https://arxiv.org/html/2606.13852#bib.bib24)] 将经典自编码器与量子神经网络结合用于心脏病分类，并在有限数据和噪声模拟设置下报告了有竞争力的准确性。这些研究表明，经典编码器目前是连接量子处理的实用桥梁，同时也使信息瓶颈成为一个核心设计约束。

据我们所知，我们的工作是首次将混合经典-量子VAE与PQC应用于主题建模。与上述管线不同，我们的PQC嵌入在VAE推理网络内部，用于参数化用于推断文档-主题混合的后验分布，而解码器仍然是一个专门用于NTM评估的主题-词重建模块。

## 3 提出方法

到目前为止，我们已对混合神经网络和神经主题建模有了初步了解。如前所述，在主题建模中，我们需要处理大型数据集，这迫使我们设计巧妙的技术来恰当平衡可扩展性和性能。在接下来的章节中，我们提出一种基于VAE和混合计算的新技术，作为使用量子设备处理主题建模的概念验证。除了混合VAE，我们还提出了一个纯经典对应物，用于比较评估所提技术的性能。

![[无标题图片]](https://arxiv.org/html/2606.13852v1/x1.png)

图1：混合VAE的架构。红色组件是可训练节点，其中CN和QN分别代表经典节点和量子节点。
### 3.1 混合VAE

图1 (https://arxiv.org/html/2606.13852#S3.F1) 从高层次展示了模型架构。该模型设计为符合VQA约束。在总体层面，编码器网络将BoW文档表示转换为高斯Softmax分布的均值和方差对数，从中采样主题分布向量，并使用主题-词矩阵解码以重建BoW表示。

编码器网络φ由经典组件和量子组件组成。从BoW文档表示x∈R^|V|开始，模型使用全连接层L\_\{|V|→#h\}^{(h)}将其下投影为#h维向量h，其中V是文档集合中出现的词汇表。然后，隐藏表示h通过幅度编码（带填充）编码到VQC中，即Q\_\{#h→#q\}^{(μ)}和Q\_\{#h→#q\}^{(log σ^2)}，根据方程2 (https://arxiv.org/html/2606.13852#S3.E2)（对于x∈R^N）：

x ↦ (1/||x||_2) * Σ_{i=0}^{2^n-1} x_i |i⟩ . (2)
VQC Q\_\{#h→#q\}^{(μ)}和Q\_\{#h→#q\}^{(log σ^2)}分别计算均值μ和方差对数log σ^2。它们由一系列强纠缠层组成，每层用旋转门参数化（见图5 (https://arxiv.org/html/2606.13852#A1.F5)）。最终，我们测量量子比特子集的状态概率或每个量子比特的泡利Z期望值，生成#q维经典向量 m^{(μ)} 和 m^{(log σ^2)}。我们只限于这两种测量类型，因为它们都适用于微分方法，如参数移动规则和有限差分法，使用“PennyLane”[26 (https://arxiv.org/html/2606.13852#bib.bib26)]。