TBP-mHC：通过传输多面体实现流形约束超连接的完全表达能力

# TBP-mHC：通过运输多面体实现流形约束超连接的全表达能力 来源：https://arxiv.org/html/2605.21724 ###### 摘要 超连接（HC）通过引入跨多个残差流的可学习混合改进了残差网络，但无约束混合会导致训练不稳定。流形约束超连接（mHC）通过Sinkhorn归一化强制执行近似双随机性来解决此问题，而mHC-lite通过排列矩阵的凸组合确保精确约束，但代价是阶乘复杂度。KromHC使用Kronecker积参数化降低了此成本，但将混合矩阵限制在Birkhoff多面体的结构化子流形上。我们提出了运输Birkhoff多面体（TBP）参数化及其递归变体（RTBP），它们构造精确双随机混合矩阵，具有(n-1)^2个自由度。我们的方法避免了迭代归一化和组合爆炸，同时保留了Birkhoff多面体的完整表达能力。在语言模型预训练上的实证结果表明，具有改进的稳定性和可扩展性的竞争性能。代码已公开在https://github.com/alyubinin/tbp-mHC。

## 1 引言

残差连接(He et al., 2016 (https://arxiv.org/html/2605.21724#bib.bib8))是深度神经网络的基本组成部分，定义为更新 x_{l+1}=x_l+F_l(x_l,W_l)，它跨层保持恒等映射并稳定梯度传播。最近的工作(Zhu et al., 2025 (https://arxiv.org/html/2605.21724#bib.bib25))通过超连接（HC）推广了这一范式，它将单个残差流扩展为n个并行流，并引入可学习混合矩阵。单个HC层由下式给出：

X_{l+1}=H_l^{res}X_l+(H_l^{post})^T F_l(H_l^{pre}X_l,W_l)，

其中 X_l∈R^{n×C} 表示扩展后的残差流，H_l^{res}∈R^{n×n} 是混合矩阵，H_l^{pre},H_l^{post}∈R^{1×n} 分别将n个流聚合成一个流并将层输出映射回n个流。这种公式实现了跨残差流更丰富的特征传播，提高了表达能力。然而，用一般线性算子替换恒等映射会移除稳定深层组合的结构保证。特别是，当多层组合时，重复乘积 ∏_{i=1}^L H_{l+i}^{res} 可能偏离类似恒等的行为，导致特征均值保持丧失和潜在梯度不稳定。

为了解决这个问题，最近的工作(Xie et al., 2025 (https://arxiv.org/html/2605.21724#bib.bib21))将H_l^{res}约束到Birkhoff多面体(Birkhoff, 1946 (https://arxiv.org/html/2605.21724#bib.bib2))，B_n = {X∈R_{≥0}^{n×n} | X1=1, X^T1=1}，即双随机（DS）矩阵的集合。这样的矩阵保持特征平均值并且谱范数不超过1，确保了组合下的稳定性。Xie等人的流形约束超连接（mHC）框架通过Sinkhorn–Knopp（SK）算法(Sinkhorn and Knopp, 1967 (https://arxiv.org/html/2605.21724#bib.bib18))强制执行此约束，该算法迭代地对行和列进行归一化：

H_l^{res}=SK(exp(mat(α_l^{res}x_l' W_l^{res}+b_l^{res})))。

虽然该过程在温和条件下收敛到双随机矩阵，但实际实现使用有限次迭代（例如K≈20），仅得到近似。经典结果表明收敛速度可能任意慢，并且有限次迭代输出可能严重违反DS约束，导致跨深度的累积误差（参见(Yang and Gao, 2026 (https://arxiv.org/html/2605.21724#bib.bib22))的讨论）。此外，高效部署需要专门的融合内核和重计算策略，增加了工程复杂性。

为了消除近似间隙，mHC-lite(Yang and Gao, 2026 (https://arxiv.org/html/2605.21724#bib.bib22))利用了Birkhoff-von Neumann定理(Birkhoff, 1946 (https://arxiv.org/html/2605.21724#bib.bib2); von Neumann, 1953 (https://arxiv.org/html/2605.21724#bib.bib20))，该定理指出来自B_n的矩阵可以写成排列矩阵的凸组合，因此：

H_l^{res}=∑_{k=1}^K α_k P_k, α=Softmax(θ), P_k∈P_n。

这种参数化保证了精确双随机性并实现了直接实现。然而，它面临阶乘参数增长的问题，因为表示整个多面体可能需要多达n!个排列矩阵，使得随着n的增长很快变得不切实际。

KromHC(Zhou et al., 2026 (https://arxiv.org/html/2605.21724#bib.bib24))通过利用Birkhoff多面体在Kronecker积下的封闭性解决了这一可扩展性问题：

H^{res}=U^{(K)}⊗⋯⊗U^{(1)}, U^{(i)}∈B_{n_i}。

这种构造保证了精确双随机性，同时将参数复杂度降低到O(n^2/C)。然而，它将混合矩阵限制在B_n的结构化子流形上，从而限制了表达能力（有关详细谱分析，请参见(Dandachi and Diggs-Galligan, 2026 (https://arxiv.org/html/2605.21724#bib.bib4))）。虽然Zhou等人的结果表明，在论文进行的测试中KromHC具有竞争力，但不能完全排除这种限制在某些场景下影响性能的可能性。另一个问题与通常限制到结构化子集有关。当最优输运位于此子集之外时，优化会以非零法向梯度分量进行，这可能表现为后期梯度放大或不稳定。在我们有限的试验中，我们观察到了两种这样的KromHC行为案例（参见附录G.7 (https://arxiv.org/html/2605.21724#A7.SS7)）。我们的实现与Zhou等人的优化器分割不同，这可能会影响平滑度，但使用Muon优化器(Liu et al., 2025b (https://arxiv.org/html/2605.21724#bib.bib14))本身不会消除约束流形问题。另外，在Zhou等人的工作中，Muon仅应用于主分支，而超连接参数仍然使用AdamW(Loshchilov and Hutter, 2019 (https://arxiv.org/html/2605.21724#bib.bib15))进行优化，我们的工作也使用了AdamW。

这些方法暴露了精确性、表达能力、内存效率和速度之间的基本权衡。这项工作的出发点是重新审视Birkhoff多面体是运输多面体的一种特殊情况，即 T(r,c)={X∈R_{≥0}^{n×n} | X1=r, X^T1=c}，其中r=c=1。运输多面体是运筹学中的基本对象（参见例如(Taha, 2017 (https://arxiv.org/html/2605.21724#bib.bib19); Brualdi, 2006 (https://arxiv.org/html/2605.21724#bib.bib3))）。我们从运输角度重新审视这个问题，并提出整个B_n的运输Birkhoff多面体（TBP）参数化。我们的构造基于经典的西北角贪婪算法(Taha, 2017 (https://arxiv.org/html/2605.21724#bib.bib19), Ch. 5.3.1)，并给出：

- •精确双随机性（无近似），
- •具有(n-1)^2个自由度的最小参数化，
- •全表达能力，覆盖整个B_n。

TBP在精确性、表达能力和内存效率上是最优的，因此其权衡必然在于速度。这源于算法的顺序结构，限制了并行性。这是许多最优输运算法的共同特征，限制了它们在机器学习中的使用。为了解决这个问题，我们引入了递归TBP（RTBP），它将问题分解为块子问题。例如，将矩阵划分为四个块：

H_l^{res}=⎛⎝X11 X12⎞⎠
        ⎛⎝X21 X22⎞⎠，

我们递归地构造每个块，并受一致性约束 ∑X11 + ∑X12 = r_top, ∑X11 + ∑X21 = c_left。这种分层分解实现了部分并行化，提高了算法速度，同时保持了精确可行性。

我们进行数值实验以验证TBP和RTBP的有效性。我们考虑了使训练更有效的几种修改，并将性能与mHC、mHC-lite和KromHC进行了比较。我们的工作不考虑后来(Dandachi and Diggs-Galligan, 2026 (https://arxiv.org/html/2605.21724#bib.bib4))的方法。但注意，Dandachi和Diggs-Galligan的工作并不覆盖整个Birkhoff多面体，而是使用依赖于超参数的子集族，随着超参数的增长，该族在极限下产生B_n的稠密子集。我们的结果表明，(R)TBP是一个具有定性优势的强大替代竞争者。我们还发现了其他算法的一些性质，这些性质在其原始论文中没有被覆盖。

总之，我们的贡献是：

- •我们引入了TBP，一种基于运输多面体分解的Birkhoff多面体的精确且最小参数化。
- •我们开发了RTBP，一种通过分层并行化提高计算效率的递归公式。
- •我们提供了理论分析，表明TBP和RTBP以最优参数化实现了全表达能力。
- •我们通过实验证明，TBP和RTBP与mHC、mHC-lite和KromHC相比具有竞争性能，同时在精确性、效率、表达能力和速度之间提供了原则性的权衡。

## 2 背景

表1：超连接参数化的比较。

### 2.1 残差连接与超连接（HC）

残差连接(He et al., 2016 (https://arxiv.org/html/2605.21724#bib.bib8))构成了现代深度神经网络的骨干，使跨深度的稳定优化成为可能。标准残差块将表示 x_l∈R^C 更新为：

x_{l+1}=x_l+F_l(x_l,W_l)，

其中 F_l: R^C→R^C 是一个可学习变换，通常由注意力和前馈子层组成。恒等映射确保信息可以跨层传播而不会退化，缓解了梯度消失和爆炸问题。

超连接（HC，(Zhu et al., 2025 (https://arxiv.org/html/2605.21724#bib.bib25))）通过引入多个交互的残差流推广了这一范式。代替单个向量，第l层的表示是 X_l∈R^{n×C}，其中n表示残差流的数量，每行对应一个维度为C的特征表示。HC层引入了可学习混合算子，跨这些流传播信息。形式上，HC层定义为：

X_{l+1}=H_l^{res}X_l+(H_l^{post})^T F_l(H_l^{pre}X_l)，

其中 H_l^{res}∈R^{n×n} 是残差混合矩阵，H_l^{pre}∈R^{1×n} 在应用非线性变换F_l之前聚合流，H_l^{post}∈R^{1×n} 将变换后的特征重新分布回流。项 H_l^{res}X_l 通过允许跨流线性混合推广了恒等连接，而第二项对应于应用于池化表示然后广播回来的共享非线性变换。

为了更明确，设 \tilde{X}_l=H_l^{pre}X_l∈R^{1×C}，则 F_l(\tilde{X}_l)∈R^{1×C}，广播步骤产生 (H_l^{post})^T F_l(\tilde{X}_l)∈R^{n×C}。因此，每个输出流是 (i) 线性混合的先前流和 (ii) 共享的非线性更新的组合。

在原始HC中，如果我们使用 x_l 表示 X_l 的展平版本，即从 n×C 矩阵拼接成 1×nC 行向量，则：

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪