通过监督投影流形学习的李群嵌入神经动力学规划

# 通过监督射影流形学习实现李群嵌入的神经动力学规划  
**来源**: https://arxiv.org/html/2605.26167  

**田伟王†** 信息学院 爱丁堡大学 & **布赖恩·陈** 数学学院 爱丁堡大学 & **钱佐** 信息学院 爱丁堡大学 & **齐跃夏** 信息学院 爱丁堡大学 & **李鑫** 计算机学院 北京理工大学 & **庞伟‡** 数学与计算机科学学院 赫瑞瓦特大学 生物启发计算与机器学习实验室  

**通讯作者**: [email protected] 和 [email protected]  

###### 摘要  
我们提出**李群嵌入动力神经网络**（LieEDNN）及相应基于梯度下降和光滑流形上度量投影的学习算法，其中我们将李群视为流形几何连续对称性的内蕴表示。由此，我们在一般李群的底层流形上实现了可学习且稳定的动力学，并能够利用李群（如 SO(3) 和 SE(3)）的强大表示能力来解决机器人学、图形学和控制等领域的实际工程问题。两个核心挑战是：(i) 一般李群与加法运算不兼容，而加法是神经网络交互所必需的。(ii) 动力学在特殊代数的非线性表示空间中演化，而非通常的欧氏空间，这违反了常见神经常微分方程的范式。为解决这两个挑战，我们首先引入李代数上的伴随李群作用，该作用诱导出线性映射并转化为权重矩阵的分块结构，使得加法可以在李代数上作为向量空间进行运算。然后，我们将李代数和伴随作用参数化为线性变换，从而使架构与神经网络感知器对齐。明确地说，这种嵌入表现为权重上的分块流形约束，我们开发了学习平衡点的算法，并具有时间神经网络动力学稳定性的保证。实验在特定李群 SE(3) 上实现，应用场景为伸缩机械臂。  

## 1 引言  
神经动力系统将计算视为连续时间系统的时间演化，其中期望输出被编码为动力学的稳定平衡点。这一视角连接了循环神经网络（RNN）Funahashi and Nakamura (1993)、连续 Hopfield 网络（CHNN）Hopfield (2007)、残差网络（ResNets）He et al. (2016) 以及神经常微分方程（Neural ODEs）Chen et al. (2018)，特别适用于那些稳定性、收敛性和轨迹生成为核心要求的任务。然而，大多数现有的神经动力学架构是在欧氏空间中构建的，而许多物理系统受内在几何结构支配。例如，机器人运动、刚体变换、相机姿态和关节机构更适合用李群 Lie (2015); Hall (2015)（如 SO(3) 和 SE(3)）来描述，而非简单的欧氏坐标 Murray et al. (2017); Lynch and Park (2017)。代数嵌入的困难在于李群通常表示非线性流形，并且不允许标准神经网络范式 LeCun et al. (2015); Goodfellow et al. (2016); Rumelhart et al. (1986) 中加权求和操作所需的闭加法。直接将神经状态或权重置于李群上因此与神经网络中的加法交互相冲突。LieEDNN 通过将动力学从李群转移到其李代数来解决这个问题，因为李代数是向量空间，加法在其中定义良好 Hall (2015)，并利用定义 3.1 中的伴随作用在李代数 g 上诱导李群 G 元素的线性表示。此外，通过收缩映射 e^X（其中 X∈g），我们可以在李群流形上学习所需的动力学 Lee (2012); Hall (2015)。这样，李群元素表现为结构化的循环权重块，而神经状态的动力学仍与普通神经网络分析兼容，包括矩阵乘法、加权和及学习规则。  

本文中，我们开发了**李群嵌入动力神经网络**（LieEDNN），带有监督平衡点学习和射影流形约束以保持结构。目标状态被学习为稳定平衡点，算法1 中的权重周期性投影在训练过程中保持权重矩阵中诱导的李群分块结构。该框架将四元数值 Hopfield 结构神经动力学 Wang et al. (2025) 从特定的超复非交换代数推广到更一般的对象类别，即矩阵李群。我们在 SE(3) 上实例化该方法，并在第4节中演示其在伸缩机械臂规划中的应用，其中旋转和平移耦合可以直接通过神经连接编码。  

## 2 背景  
#### 矩阵李群与流形  
流形是一个几何对象 M，它在局部上看起来像 R^n 的一块。光滑流形是带有覆盖 M 的局部坐标系的流形 M，使得两个重叠坐标系之间的坐标变换映射是光滑的，称为微分同胚 Lee (2012); Lafontaine (2015)。李群是装备了群结构的光滑流形，使得群乘法和群逆运算光滑 Hall (2015)。顾名思义，矩阵李群是一种李群，例如 SU(2), GL(n;C)。在本文中，当我们提到李群时，也指其底层的光滑流形。定义 2.1 给出了李群的定义。对于矩阵李群，群乘积是矩阵乘法。  

###### 定义 2.1（李群 Hall (2015); Lie (2015)）. 李群是一个光滑流形 G，同时具有群结构，且群乘积 G×G→G 和逆映射 G→G 是光滑的。  

下面还有几个我们在这篇论文中使用的矩阵李群和李代数的具体例子，定义在定义 2.2 和定义 2.4 中。对于正交群 O(3)，我们有列向量相互正交。令 R=[R_1,R_2,R_3]∈O(3)，其中 R∈R^{3×3}, R_{1,2,3}∈R^3，则 R_i·R_j=δ_ij。这个条件等价于 R^T=R^{-1}。计算两边的行列式，det(R)=det(R^T)=det(R)^{-1}，因此 det(R)^2=1。当 det(R)=1 时，我们称之为特殊正交矩阵，它表示三维空间中的旋转变换。当 det(R)=-1 时，它表示带有反射复合的旋转变换，将左手系变为右手系，除了手性外保持几何细节相同。  

###### 定义 2.2（正交群和特殊正交群 Armstrong (1988)）. 我们定义：  
O(3) := {R∈R^{3×3} | R^T=R^{-1}},  
SO(3) := {R∈R^{3×3} | R∈O(3), det(R)=1}  
(2.1)  
其中群乘积为矩阵乘法。O(3) 和 SO(3) 的李代数是相同的集合：  
o(3)=T_e O(3) ≅ so(3) = {X∈R^{3×3} | X^T=-X}=T_e SO(3)  
(2.2)  
其中矩阵交换子 [X,Y]:=XY-YX 定义为李代数上的李括号运算。  

###### 定义 2.3（斜对称表示 Armstrong (1988)）. 斜对称矩阵定义为 X^T=-X, X∈R^{3×3}，参数化为 t∈R^3，记号为 X=[t]^∧∈R^{3×3}。  
[t]^∧ := \[ 0 -t_3 t_2; t_3 0 -t_1; -t_2 t_1 0 \] ∈ so(3), t = \[ t_1; t_2; t_3 \] ∈ R^3  
(2.3)  
斜对称表示及其参数化向量的显式形式如式 (2.3)。而 [t]^∧ 在任意向量 v∈R^3 上的线性映射等于叉积 [t]^∧ v = t×v。  

###### 定义 2.4（特殊欧氏群 SE(3) 与 se(3) Armstrong (1988)）. 它们定义为：  
SE(3) := { \[ R p; O_{1×3} 1 \] | R∈SO(3), p∈R^3 },  
se(3) = { \[ [ω]^∧ v; O_{1×3} 0 \] | ω,v∈R^3 }  
(2.4)  
其中群乘积为矩阵乘法，交换子 [X,Y]:=XY-YX 为李括号运算。se(3) 扩展了 SE(3) 在单位元 I_3 处的切空间 Hall (2015); Lie (2015)。特殊欧氏群表示三维空间中所有等距变换，包括旋转和平移 Hall (2015)。其李代数量化了角动量和平移动量。它用于建模关节链的运动和伸缩机械臂的参考坐标系。本文的主要目标是在 SE(3) 上规划时间神经动力学，以体现一般李群嵌入的框架。稍后我们在式 (3.4) 中推导另一个矩阵群。下面的定理 2.1 给出了如何判断一个矩阵群是否为李群，即闭子群定理。  

###### 定理 2.1（闭子群 von Neumann (1929); Cartan (1930)）. 假设 G 是一个李群，H 是 G 的子群。如果 H 在 G 中是拓扑闭的，则 H 也是李群，具有嵌入的光滑流形结构。特别地，这对矩阵李群成立。  

#### 李群与李代数  
李群及其李代数存在对应关系。考虑李群 G 的光滑流形，在单位元 e 处，切空间 T_e G 是一个向量空间。李代数定义在这个向量集 g 上。除了加法运算，还有另一个闭运算 [·,·]: g×g→g，称为李括号，满足 [X,Y] = -[Y,X] 和雅可比恒等式 [X,[Y,Z]]+[Y,[X,Z]]+[Z,[X,Y]]≡0。对于矩阵李群的李代数，李括号由交换子 [X,Y]:=XY-YX 定义 Hall (2015)。几何上，李代数表示李群在其底层光滑流形上作用的微分，而矩阵指数 Exp(X):=e^X 将 g 中的点收缩到流形 G 上 Lee (2012)。以定义 2.2 为例。考虑 SO(3) 中的曲线族 η(t)，满足 η(0)=I。由于 η(t)η(t)^T=I_3，对时间求导，有 η̇(t)η(t)^T+η(t)η̇(t)^T=O_{3×3}。令 t=0，则 η̇(0)=X∈so(3) 且 η̇(t)+η̇(t)^T=O_{3×3}。因此，我们验证了 X^T=-X，如式 (2.2)。  

#### 动力神经网络  
本文中的神经动力学指式 (2.5) 所述的架构，我们将网络演化视为一个微分自治动力系统 Chen et al. (2018); E (2017); Wang et al. (2025)。以向量形式，式 (2.5) 定义为一个 ODE 系统：  
d x/dt = -γ x + μ W φ(x) + μ b  
其中连接权重记为 W∈R^{N×N}，神经状态变量记为 x∈R^{N}×T，偏置记为 b∈R^N。