等变协方差张量：张量值几何学习中保证对称正定不确定性

# 张量几何学习的保证型对称正定不确定性
来源：https://arxiv.org/html/2608.24386

## 等变协方差张量：张量几何学习的保证型对称正定不确定性

Ruihan Liu¹  
¹复旦大学智能机器人与先进制造学院，中国上海 200433  

Yu Ji¹  
¹复旦大学智能机器人与先进制造学院，中国上海 200433  

Jianbo Yu²  
²复旦大学微电子学院，中国上海 200433  
通讯作者：[[email protected]](mailto:[email protected])

Qingchao Jiang³  
³华东理工大学信息科学与工程学院，中国上海 200237  

###### 摘要
张量值预测是几何深度学习的基础，但此类输出的不确定性量化仍是一个开放挑战。虽然E(3)-等变神经网络在点估计上表现优异，但缺乏严谨的置信度度量。我们专注于对称二阶张量预测，目标具有六个Kelvin-Mandel坐标，完整不确定性由一个6×6协方差矩阵表示。我们引入了一个E(3)-等变不确定性量化框架，建模完整的预测分布，其中均值和协方差均保持旋转对称性。我们的方法将协方差分解为不可约表示：Sym²(ρ_c) ≅ 2×(l=0) ⊕ 2×(l=2) ⊕ 1×(l=4)。通过矩阵指数映射从平坦的李代数sym(6)到弯曲的对称正定流形，我们在严格保证协方差正定性的同时保持了精确的等变性。此外，我们提出了对数欧几里德等变评分目标——一种基于多元拉普拉斯分布的鲁棒替代损失函数，对重尾误差具有鲁棒性并确保稳定优化。在ModelNet40惯性张量和Materials Project介电张量上的验证表明，我们的方法取得了有竞争力的性能，并提供了物理一致、保持对称性的不确定性估计，具有实用的风险度量和分布外敏感性。

###### 关键词
机器学习，等变神经网络，不确定性量化，几何深度学习，张量值预测

## 1 引言
张量值预测是科学计算和几何深度学习的基础，应用涵盖材料性质（弹性张量、介电响应）、生物医学成像（扩散MRI）和计算流体动力学。虽然E(3)-等变神经网络在预测张量性质如介电常数方面取得了显著成功（Batatia等，2022；Heilman等，2024），但它们本质上是确定性的——仅输出单个点估计而不提供任何置信度度量。这是一个关键限制：在科学决策中过度自信的张量预测可能导致代价高昂的实验失败。

在本文中，主要输出是对称二阶张量C ∈ R^{3×3}_{sym}（如介电张量）。虽然C是3×3矩阵，但对称性使其具有六个独立自由度。我们用Kelvin-Mandel向量c ∈ ℝ^6表示，旋转作用于一个正交六维表示ρ_c(R)。因此，对C的不确定性不是3×3协方差，而是Kelvin-Mandel坐标上的6×6协方差。

为ENNs扩展不确定性量化带来了根本挑战：不确定性估计本身必须等变地变换。数学上，协方差Σ ∈ ℝ^{6×6}必须满足：
Σ(R·X) = ρ_c(R) Σ(X) ρ_c(R)^⊤, ∀R ∈ O(3)
其中ρ_c(R)是Kelvin-Mandel表示中的旋转矩阵。这导致了参数化挑战：Cholesky型协方差头保证对称正定性但在Kelvin-Mandel协方差坐标中不等变，而直接等变回归保持变换律但不保证对称正定性。

本文提出了一个在对称张量值预测中进行E(3)-等变全协方差不确定性量化的原则性框架。我们的贡献通过以下方式解决等变对称正定参数化挑战：(1) 等变矩阵指数头通过不可约分解Sym²(ρ_c) ≅ 2×(l=0) ⊕ 2×(l=2) ⊕ 1×(l=4)参数化对称正定流形；(2) 通过对数欧几里德评分目标实现稳定的联合优化策略，将不确定性校准与几何特征提取相结合；(3) 在ModelNet40惯性张量上的严格验证以及在Materials Project介电预测上的竞争性能（MAE 1.55）。

## 2 相关工作
见说明 图1：E(3)-等变张量不确定性框架。
(1) 特征分解：协方差头通过不可约表示(l=0,2,4)建模对称性。
(2) 流形映射：网络预测无约束的A ∈ sym(6)。
(3) 有效性约束：Σ = exp(A)投影到对称正定流形P₆。

#### 等变张量预测。
E(3)-等变神经网络在材料科学和3D几何领域的张量预测中取得了最先进性能（Batatia等，2022；Heilman等，2024；Hua等，2026；Pakornchote等，2023；Fung等，2021；Reiser等，2022；Du等，2024；Equer等，2023）。然而，所有现有ENNs本质上是确定性的——它们无法量化预测置信度。我们的框架在保持等变性保证的同时添加了严谨的不确定性量化，解决了这一关键空白。

虽然我们的方法利用了e3nn提供的球谐基（Geiger和Smidt，2022），但表示理论的最新进展，如高阶不可约笛卡尔张量分解框架（Shao等，2025），为在笛卡尔空间中直接构建等变基提供了替代分析路径。这些方法可能简化高阶张量性质的实现。

#### 神经网络中的对称正定约束。
确保对称正定协方差对于有效的不确定性至关重要。先前工作使用Cholesky分解、特征分解或黎曼优化（Jekel等，2022；Pouliquen等，2025；Zhao等，2023）。这些方法在固定坐标参数化中保证对称正定性，但它们本身并不提供在协方差表示ρ_c下X ↦ Σ(X)的等变映射。正交共轭保持对称正定性；因此困难不在于对称正定性与旋转本身的冲突。相反，挑战在于设计一个同时等变并受限于对称正定锥的神经参数化。

Cholesky型头强制对称正定性但在Kelvin-Mandel协方差坐标中不等变，而直接等变回归可以保持变换律但不保证对称正定性。我们的矩阵指数头通过预测等变对称算子A(X)并设置Σ(X) = exp(A(X))解决了这个参数化问题，满足exp(ρ_c(R) A ρ_c(R)^⊤) = ρ_c(R) exp(A) ρ_c(R)^⊤，因此在所有旋转框架中同时是对称正定且等变的。

#### 概率方法和等变高斯过程。
ENNs的概率扩展严重不足。虽然集成方法可以提供启发式不确定性估计（Rudner等，2022）甚至表现出涌现等变性（Gerken和Kessel，2024），但我们的框架显式学习完整的21参数偶然协方差张量，这对于建模物理性质中固有的各向异性噪声至关重要。

贝叶斯神经网络面临大规模计算挑战（Rensmeyer等，2024；Olivier等，2021；Doan等，2025；Sheinkman和Wade，2025）。现有等变贝叶斯方法侧重于标量或向量量（Zhou等，2024），忽略了张量值不确定性。E(3)-等变高斯过程提供理论上合理的不确定性，但通常限于各向同性或对角协方差近似（Steinert等，2025；Bevanda等，2025）——将其扩展到二阶张量的完整21参数协方差结构在计算上仍然不可行。我们的神经网络方法提供计算可扩展性，同时学习完整的等变张量相关性。最近关于不确定性和稳定张量运算的工作为我们的设计提供了理论基础（Berman等，2026；Gruber和Buettner，2022；Fakour等，2024；Newman等，2024）。

## 3 方法
### 3.1 问题表述
我们解决预测张量值量并同时量化预测不确定性的根本挑战。我们展示了对称二阶张量C ∈ R^{3×3}_{sym}的构造，这已经需要完整的6×6协方差表示。一旦等变对称算子A(X)可用，对称正定构造和评分目标就与表示无关。然而，A(X)的参数化是表示特定的，必须为每个张量阶和对称群单独构造。

我们从3D结构X = {(x_i, f_i)}_{i=1}^N预测C，其中x_i ∈ ℝ^3表示空间坐标，f_i表示关联特征（如材料中的原子种类）。该表述涵盖了重要应用，如预测晶体结构中的介电张量。虽然我们在材料科学上展示该框架，但该方法适用于任何具有二阶张量属性的3D点云，从生物分子到几何形状。

我们不是产生确定性点估计，而是建模完整的预测分布：
p(C|X) = Laplace(C|μ(X), Σ(X))    (1)
其中μ(X) ∈ R^{3×3}_{sym}是预测均值张量，Σ(X)通过协方差结构捕捉预测不确定性。为了在所有域中保持几何一致性，均值预测μ和协方差Σ必须满足关于旋转和反射的等变约束。

因为我们预测全局张量性质（如单胞的介电张量），预测对平移不变但对正交变换等变：
μ(R·X) = R μ(X) R^⊤,
Σ(R·X) = ρ_c(R) Σ(X) ρ_c(R)^⊤.    (2)

我们的构造确保完整的O(3)等变性。对于对称二阶张量，在反射（det R = -1）下的变换由Kelvin-Mandel基的偶宇称表示ρ_c(R) = R ⊗_s R处理，其中(det R)^2 = 1确保手性和非手性结构的一致行为。我们在第4.5节数值验证了O(3)等变性（表4），详细分析见附录E.3。

预测对平移不变，因为全局张量性质仅依赖于相对原子位置。这个普遍的等变约束构成了我们领域无关框架的基础。我们强调，虽然公式1以标准预测形式呈现分布，但训练优化的是鲁棒化的LE-ESO目标（第3.5节），该目标推广了多元拉普拉斯负对数似然，并增强了对异常值的稳定性。

### 3.2 Voigt表示与协方差结构
为了便于神经网络实现同时保持张量的几何结构，我们采用Kelvin-Mandel表示法将对称张量C展平为六维向量。与标准Voigt表示不同，Kelvin-Mandel表示保持了张量空间与向量空间之间的等距性质：
c_KM = [C₁₁, C₂₂, C₃₃, √2C₂₃, √2C₁₃, √2C₁₂]^⊤    (3)
这保持了Frobenius范数：‖c_KM‖₂ = ‖C‖_F。
在旋转R下，c'_KM = ρ_c(R) c_KM，其中ρ_c(R)是正交的6×6矩阵。协方差变换为Σ' = ρ_c(R) Σ ρ_c(R)^⊤，保持物理不确定性的坐标不变性。

### 3.3 不可约表示分解
通过表示理论，等变不确定性量化的数学结构变得清晰。在群论中，不可约表示是不能进一步分解为更小不变子空间的基本构建块。对称3×3张量的六维表示ρ_c分解为SO(3)的不可约表示：
ρ_c ≅ l=0 ⊕ l=2    (4)
分别对应张量的各向同性（迹）和偏斜（无迹）部分。这里≅表示表示的同构，而不是矩阵的相等：经过固定基变换后，六个Kelvin-Mandel坐标分裂为一维各向同性迹分量和