(MPO)$^2$: 基于矩阵乘积算子的多元多项式优化

# (MPO)²：基于矩阵乘积算子的多元多项式优化
来源：https://arxiv.org/html/2607.15916

###### 摘要

机器学习和信号处理的核心能力在于实现通用函数逼近，并从有限的观测数据中学习复杂的输入-输出关系。多元多项式模型能通过乘法特征交互自然地表达此类关系，但其系数张量会随多项式阶数指数级增长。现有张量化多项式模型虽降低了这一成本，但典型的多项式分解存在秩受限的表达能力，而张量列形式则依赖于特征顺序。我们提出基于矩阵乘积算子（MPO）的多元多项式优化框架（MPO）²，该框架结合了学习得到的 MPO 特征嵌入和紧凑的多项式权重张量。由此产生的多项式表示与特征顺序无关，并能融入诸如投影、卷积和对称权重张量掩码等结构化算子。在回归和分类基准上，（MPO）² 的性能优于现有基于张量分解的多项式模型，为高效的多项式函数逼近提供了一种灵活的替代方案。111 本文早期版本已在 ICML 2026 研讨会 CoLoRAI26（第二届人工智能低秩表示连接研讨会）上作为亮点论文（非存档）发表[ciolli2025mpoWorkshop]。

## I. 引言

机器学习和信号处理的一个基本目标是从数据中学习合适的函数，将输入映射到相关输出，并泛化到未见数据。尽管已充分证实，足够大的深度学习模型架构可实现通用函数逼近[20 (https://arxiv.org/html/2607.15916#bib.bib1)]，但这些模型通常难以解释。其他通用函数逼近的建模工具可以克服可解释性问题，例如在合适核函数选择下的高斯过程（GPs）[48 (https://arxiv.org/html/2607.15916#bib.bib8),43 (https://arxiv.org/html/2607.15916#bib.bib24)]以及级数逼近。

近十年来，上下文感知的学习方法在利用非线性依赖关系的同时，展现了优于传统的泛化性能。这包括 Transformer 架构[47 (https://arxiv.org/html/2607.15916#bib.bib28)]、门控机制（例如长短期记忆[17 (https://arxiv.org/html/2607.15916#bib.bib5)]和门控线性单元[10 (https://arxiv.org/html/2607.15916#bib.bib25)])。重要的是，这类架构直接操作属性之间的乘法交互，这在深度学习中至关重要[21 (https://arxiv.org/html/2607.15916#bib.bib35)]。经典统计学使用标准的交互项很容易建模乘法交互。相反，标准的多层前馈网络至少需要四个隐藏神经元才能表示一个简单的乘法运算[28 (https://arxiv.org/html/2607.15916#bib.bib27)]。

相反，多项式网络利用高阶项直接表达乘法交互。早期的多项式网络工作基于 pi-sigma 网络[39 (https://arxiv.org/html/2607.15916#bib.bib2)]，它将多项式表示为简单线性回归函数的乘积。岭多项式网络[40 (https://arxiv.org/html/2607.15916#bib.bib3)]同样通过连续累积的方式表达多项式函数，而 pi-sigma-pi 网络则引入了一个额外的乘法层，组合多个 pi-sigma 网络[27 (https://arxiv.org/html/2607.15916#bib.bib6)]。最近，高阶 Sigma-Pi 和 Sigma-Pi-Sigma 神经网络（SPSNNs）被提出[22 (https://arxiv.org/html/2607.15916#bib.bib50),11 (https://arxiv.org/html/2607.15916#bib.bib49),37 (https://arxiv.org/html/2607.15916#bib.bib47)]。它们使用乘法单元代替神经元，并在层间共享参数，以紧凑地编码多项式映射。

理论上，乘法网络能以比 ReLU 网络更少的层/神经元逼近平滑目标[4 (https://arxiv.org/html/2607.15916#bib.bib46),21 (https://arxiv.org/html/2607.15916#bib.bib35)]，而受生物学启发的乘法耦合则能加速 RNN 中的学习和门控机制[52 (https://arxiv.org/html/2607.15916#bib.bib52)]。

最近，多项式网络已发展到探索张量分解结构，包括典型分解（CPD）[15 (https://arxiv.org/html/2607.15916#bib.bib30),2 (https://arxiv.org/html/2607.15916#bib.bib37),14 (https://arxiv.org/html/2607.15916#bib.bib44),1 (https://arxiv.org/html/2607.15916#bib.bib41),25 (https://arxiv.org/html/2607.15916#bib.bib51)]，以及形成 Π-Net[8 (https://arxiv.org/html/2607.15916#bib.bib43),7 (https://arxiv.org/html/2607.15916#bib.bib42)] 的分层耦合 CPD 分解，这些分别与可视为秩一 CPD 结构的 pi-sigma 和岭多项式网络密切相关。除了 CPD，这些方法也已扩展到更灵活的张量网络结构，包括张量列/矩阵乘积态分解（TT/MPS）[42 (https://arxiv.org/html/2607.15916#bib.bib23),götte2021blocksparsetensortrainformat,25 (https://arxiv.org/html/2607.15916#bib.bib51)]。此外，张量机通过低秩 CPD 张量学习特定于目标的特征[50 (https://arxiv.org/html/2607.15916#bib.bib20)]。这些方法通常假设 CP/Tucker 参数化以及平方/逻辑损失。从输入-输出模式的角度看，它们可以看作是最近工作中多元多项式模型的变体[2 (https://arxiv.org/html/2607.15916#bib.bib37)]。

重要的是，分解后的多项式网络可以使用简单的交替线性系统（ALS）优化，利用二阶方法每次优化分解中的一个因子（另见[15 (https://arxiv.org/html/2607.15916#bib.bib30),1 (https://arxiv.org/html/2607.15916#bib.bib41),25 (https://arxiv.org/html/2607.15916#bib.bib51)])。虽然上述多项式网络探索了用于回归的张量分解，但我们注意到它们不同于旨在探索高阶数据结构回归的张量回归[29 (https://arxiv.org/html/2607.15916#bib.bib45)]。多项式网络的张量网络表示也不同于近期利用张量分解程序压缩深度学习模型权重张量的努力。关于张量分解与深度学习之间联系的讨论，另见[34 (https://arxiv.org/html/2607.15916#bib.bib39)]。

关键在于，张量分解结构解决了多元多项式回归权重的维度灾难问题[39 (https://arxiv.org/html/2607.15916#bib.bib2)]。然而，现有使用 CPD 分解的公式在表达能力上存在理论限制，而当前基于 TT/MPS 的建模过程[42 (https://arxiv.org/html/2607.15916#bib.bib23),13 (https://arxiv.org/html/2607.15916#bib.bib32),götte2021blocksparsetensortrainformat,25 (https://arxiv.org/html/2607.15916#bib.bib51)] 依赖于特征顺序，为分解施加了特定于特征的模块。此外，先前的过程未考虑权重张量中的冗余，并依赖于预先指定的特征表示。我们认为，这些局限性阻碍了这种本可替代深度学习的函数逼近方法的更广泛采用。

我们当前提出基于矩阵乘积算子的多元多项式优化（MPO）² 框架，这是一种用于建模高阶多项式的新型张量网络结构。值得注意的是，（MPO）² 泛化了多项式张量网络，增强了以下方面：

- **表达能力**：我们考虑更具表达力的张量网络表示，利用矩阵乘积算子形式主义来同时学习特征和多项式表示，与 CPD 和现有的基于 MPS/TT 的方法相比，具有更强的表达能力，并且与后者相比，更关键的是其特征顺序无关。
- **可靠性与可扩展性**：我们设计了一个交替最小二乘过程，提供闭式更新以及支持可扩展的梯度下降方法。
- **多功能性**：我们引入通用结构化算子来考虑归纳偏置，例如多项式阶数冗余和由传统卷积神经网络施加的平移不变性。我们进一步支持不同的损失函数，例如回归的最小二乘和分类的交叉熵最小化，使用一个与损失无关的二阶最小化框架。

我们的方法利用 MPO 相对于 CPD 指数级更高的理论表达能力，如 [33 (https://arxiv.org/html/2607.15916#bib.bib11)] 所示。此外，我们的 MPO 模型通过提供基于任意秩分解和多线性滤波器（如卷积或（随机）特征投影[23 (https://arxiv.org/html/2607.15916#bib.bib17)]) 的统一架构，泛化了前述的 Π-Net（无逐层非线性激活）和多元多项式模型。最后，与现有的 TT 结构相比，我们的方法与特征顺序无关，其中每个模块与所有特征相关联，而不是强制使用特定于特征的模块。我们在几个表格数据集和图像分类上评估了所提出的（MPO）² 结构的监督学习性能，并强调了其相对于最新张量网络方法的优势。

## II. 方法

### II-A. 张量网络与张量符号

张量网络是由一组张量及其相互收缩的维度定义的结构。它们通常用图表示，其中每个节点是一个张量，边表示连接张量之间在一个模式上的收缩。张量网络图形表示的示例见图1 (https://arxiv.org/html/2607.15916#S2.F1)。该图的左面板展示了一个五模张量，中间面板展示了两个张量沿一个模式相乘的收缩（对应于常规矩阵乘法），右面板展示了矩阵乘积算子（MPO），对应于多个张量沿一个模式成对收缩。

在本工作中，当涉及张量网络结构时，张量索引的位置：上标表示图解表示中的垂直模式，下标表示水平模式。不同的位置在数学上是等价的，但在概念上，垂直模式与输入空间相关，而水平模式与潜在空间相关。

对元素为 M_{i1 i2 ... in} 的张量 M 的多索引求和将记为 ∑_{i1 i2 ... in} M_{i1 i2 ... in} = ∑_{i^{(n)}} M_{i^{(n)}}，其中 i^{(n)} = {i1, i2, ..., in}，表示对所有从 i1 到 in 的索引求和。当省略上标时，意味着 i = i^{(N)}，其中 N 是多项式的阶数。

（此处应有图片，但文本中无实际图片，仅保留描述）

**图 1:** (a) 张量、(b) 两个矩阵的乘积和 (c) 矩阵乘积算子 (MPO) 的图形表示。

众所周知的张量网络结构，即矩阵乘积态（MPS）或张量列（TT），以及 Tucker 和 CPD 分解，分别由下式给出：

MPS/TT: T_{d^{(N)} l} = ∑_{r}^{R} T^{[1] d1}_{1 r2} T^{[2] d2}_{r2 r3} ... T^{[n] dn l}_{rn 1},  (1)
Tucker/CPD: T_{d^{(N)} l} = ∑_{r}^{R} G_{r l} T^{[1] d1}_{r1} ... T^{[n] dn}_{rn},  (2)
其中当 G = I 时，Tucker 分解退化为 CPD。I 定义为沿（超）对角线为 1、其余为零的单位张量。值得注意的是，这些分解是 MPO 的特殊情况。在图 2 (https://arxiv.org/html/2607.15916#S2.F2) 的 LABEL:sub@fig:structures-cpd 中，我们提供了与多项式基收缩的 Tucker/CPD 结构的图形表示，而在 LABEL:sub@fig:structures-mps 中，我们提供了与通用基收缩的 MPS/TT 的图形表示。MPS/TT 的通用基表示是文献中最常见的形式。

### II-B. 多元多项式回归

给定一个维度为 D 的输入 x，我们定义 x 的 N 阶多元多项式为：

p_l(x) = T_l^{(0)} + ∑_{d1} T_{l d1}^{(1)} x_{d1} + ∑_{d2 ≥ d1} T_{l d^{(2)}}^{(2)} x_{d1} x_{d2} + ... + ∑_{dN ≥ d_{N-1}} T_{l d^{(N)}}^{(N)} x_{d1} ... x_{dN}  (2)

其中 l 标识多元多项式的一个输出，T 是系数。

遵循 [1 (https://arxiv.org/html/2607.15916#bib.bib41)]，我们考虑多项式的两种公式。即，作为递增阶数的独立齐次多项式的和，其系数参数化为每个阶数的独立张量（类型 I），或者用一个张量表示多项式的所有系数（类型 II）：

类型 I: p_l(x) = ∑_{n=0}^{N} ∑_{d^{(n)}} T_{l d^{(n)}}^{(n)} x_{d1} ... x_{dn},  (3)
类型 II: p_l(̃x) = ∑_{d^{(N)}} ̃T_{l d^{(N)}} ̃x_{d1} ... ̃x_{dN},  (4)

其中 ̃x = [1, x] 定义为输入向量 x 加上一个常数特征 1（偏置项），从而能够表示多项式所有不同阶数的所有系数。

值得注意的是，随着多项式阶数 N 增加，权重张量的系数数量对于 M 个特征呈 O(M^N) 指数增长，这使得多项式回归仅在低阶和... （原文此处截断，但根据上下文，应表示“使得多项式回归仅在低阶和低维时可行”之类的含义）

（鉴于原文此处未完结，翻译后保留原样）