高维Ising模型中的迁移学习

# 高维Ising模型中的迁移学习
来源：https://arxiv.org/html/2607.03005

###### 摘要

在高维Ising模型估计中，目标样本量通常有限，而有效利用相关性未知的辅助二值数据集仍具挑战性。为解决此问题，我们提出Trans-Ising，一种结合基于损失的源筛选规则与两阶段估计过程的迁移学习方法。该方法首先利用留出目标伪似然识别信息丰富的辅助源，以防止负迁移；然后通过池化逐节点ℓ1正则化逻辑回归计算初始估计量，再对目标仅使用折叠凹惩罚进行校正步骤。理论上，我们建立了固定节点ℓ2和ℓ1误差界、精确图选择一致性以及筛选规则的条件一致性。通过大量模拟和真实数据分析，我们证明Trans-Ising在目标仅估计和朴素数据池化两种方法中均实现了更低的估计误差。

迁移学习，高维推断，Ising模型，图模型选择，伪似然，源检测

## 1 引言

Ising模型在空间统计和统计物理中有着悠久历史 (Besag, 1974 (https://arxiv.org/html/2607.03005#bib.bib2), 1975 (https://arxiv.org/html/2607.03005#bib.bib3))。它广泛用于心理测量及相关应用中的二值网络数据 (van Borkulo et al., 2014 (https://arxiv.org/html/2607.03005#bib.bib43); Epskamp et al., 2018 (https://arxiv.org/html/2607.03005#bib.bib17); Waldorp et al., 2019 (https://arxiv.org/html/2607.03005#bib.bib46); Park et al., 2022 (https://arxiv.org/html/2607.03005#bib.bib35); Brusco et al., 2023 (https://arxiv.org/html/2607.03005#bib.bib6))，近期工作研究了Ising模型的统计推断和结构学习 (Bhattacharya & Mukherjee, 2018 (https://arxiv.org/html/2607.03005#bib.bib4); Lokhov et al., 2018 (https://arxiv.org/html/2607.03005#bib.bib28); Meng et al., 2021 (https://arxiv.org/html/2607.03005#bib.bib32))。在该模型中，每个变量表示一个二值状态，交互网络表示成对依赖性。在这些应用中，估计边集是一个常见的推断目标，因为边被解释为二值变量之间的条件关联。

高维Isian模型选择的标准方法是逐节点ℓ1正则化逻辑回归 (Ravikumar et al., 2010 (https://arxiv.org/html/2607.03005#bib.bib38))。这种邻域选择方法避免了难以处理的配分函数，已成为Ising模型文献中的常见基线 (Santhanam & Wainwright, 2012 (https://arxiv.org/html/2607.03005#bib.bib40); Barber & Drton, 2015 (https://arxiv.org/html/2607.03005#bib.bib1); Kuang et al., 2017 (https://arxiv.org/html/2607.03005#bib.bib25); De Canditiis, 2020 (https://arxiv.org/html/2607.03005#bib.bib15))。例如，在癌症基因组学中，建模突变谱需要估计p=200个基因之间的交互作用，但目标观测有限，如n0=160个样本。当p与n0相当或更大时，仅利用目标的逐节点逻辑回归从有限目标观测中估计稀疏邻域，会增加假阳性和假阴性边的误差。

为降低目标估计误差，迁移学习方法利用相关辅助数据集 (Pan & Yang, 2010 (https://arxiv.org/html/2607.03005#bib.bib34); Fawaz et al., 2018 (https://arxiv.org/html/2607.03005#bib.bib19); Cai & Wei, 2021 (https://arxiv.org/html/2607.03005#bib.bib10); Cai & Pu, 2024 (https://arxiv.org/html/2607.03005#bib.bib9); Cai et al., 2024a (https://arxiv.org/html/2607.03005#bib.bib8),b (https://arxiv.org/html/2607.03005#bib.bib11); Weiss et al., 2016 (https://arxiv.org/html/2607.03005#bib.bib47); Zhuang et al., 2021 (https://arxiv.org/html/2607.03005#bib.bib52); Hosna et al., 2022 (https://arxiv.org/html/2607.03005#bib.bib22))。Li et al. (2022 (https://arxiv.org/html/2607.03005#bib.bib26)) 和 Tian & Feng (2023 (https://arxiv.org/html/2607.03005#bib.bib41)) 针对高维线性和广义线性模型对其进行了充分发展，Kim et al. (2025 (https://arxiv.org/html/2607.03005#bib.bib24)) 针对良性过拟合线性回归，Park et al. (2025 (https://arxiv.org/html/2607.03005#bib.bib37)) 针对大规模低秩回归，相关方法也在 Li et al. (2023 (https://arxiv.org/html/2607.03005#bib.bib27)) 和 Zhao et al. (2026 (https://arxiv.org/html/2607.03005#bib.bib50)) 中用于高斯图模型。对于高斯图模型，基于校正的迁移过程在源与目标共享结构时可降低精度矩阵估计误差 (Zhao et al., 2026 (https://arxiv.org/html/2607.03005#bib.bib50))。

尽管辅助二值数据集日益丰富，但对离散图模型（如Ising模型）的迁移学习研究仍有限。将迁移学习理论扩展到高维Isian模型存在技术困难。每个逐节点Ising回归使用带符号的逻辑伪似然，跨域异质性使池化后的总体极小点偏离目标参数。这种偏移改变了标准ℓ1惩罚估计量的边选择行为。由于实践中源的相关性未知，当包含不兼容源时，朴素池化会增加目标验证风险和目标估计误差。

本文聚焦于高维Isian图估计中的迁移学习问题，提出**Trans-Ising**，一种两阶段过程。所提出的构建首先使用目标数据和选定的辅助样本，通过逐节点ℓ1正则化逻辑回归获得初始估计量，然后使用折叠凹惩罚对目标仅进行校正步骤。此外，我们利用留出目标伪似然开发了一种基于损失的源筛选规则，以选择信息丰富的源并避免增加目标验证风险。

**贡献**。本文在高维背景下对Ising模型估计的迁移学习做出了以下贡献：

- **Oracle两步估计与误差界**：对于已知的信息源集，我们构建了一种oracle两步逐节点估计量，使用池化Lasso初始化与目标仅校正。令s_j表示目标邻域大小，N表示目标与信息辅助源的组合样本量，h_j表示源到目标的异质性水平。定理1 (https://arxiv.org/html/2607.03005#Thmtheorem1) 建立了固定节点ℓ2和ℓ1误差界，其主要方差项为√(s_j log p / N)，附加项依赖于h_j。
- **双惩罚校正用于精确支持恢复**：我们分析了高维Ising模型中支持恢复的双惩罚校正步骤。尽管近期针对广义线性模型的高维迁移学习方法 (Tian & Feng, 2023 (https://arxiv.org/html/2607.03005#bib.bib41)) 为基于校正的估计量（带ℓ1正则化）建立了估计保证，但高维Ising模型的精确邻域恢复需要单独的支持恢复分析。这是因为ℓ1惩罚在非零系数上引入收缩，且经典Lasso选择分析施加了不可表示类型的条件 (Zhao & Yu, 2006 (https://arxiv.org/html/2607.03005#bib.bib51))。定理2 (https://arxiv.org/html/2607.03005#Thmtheorem2) 在所述beta最小值、分离、经验曲率、局部解和锥条件下，为oracle两步估计量建立了固定节点精确邻域恢复，且无需施加不可表示条件。此外，推论2 (https://arxiv.org/html/2607.03005#Thmcorollary2) 表明，当固定节点选择结果在所有节点上一致成立时，AND对称化估计量可恢复目标边集。
- **数据驱动源检测与经验验证**：我们开发了一种基于样本外伪似然损失的数据驱动源检测算法。定理3 (https://arxiv.org/html/2607.03005#Thmtheorem3) 在图级分离、验证损失偏差和自适应阈值校准条件下，建立了风险定义总体信息源集的条件恢复。最后，通过涉及突变、在线交易和电影评分数据的模拟研究与真实数据分析，我们表明Trans-Ising在报告的设置中比目标仅估计获得更低的估计误差，并且在大多数报告设置中比朴素池化获得更低的误差。模拟明确评估了参数估计和图恢复，而真实数据分析评估了留出逐节点预测误差，因为真实交互网络未知。

**记号**。我们在无向图G=(V,E)上定义Ising模型，其中V={1,…,p}表示节点集，E表示边集。我们使用{-1,1}编码。令X=(X_1,…,X_p)∈{-1,1}^p表示随机配置，实现为x。令X^(0)表示目标数据集，样本量为n_0。我们观测S个辅助数据集{X^(s)}_(s=1)^S，其中X^(s)的样本量为n_s。令θ*∈R^(p×p)表示真实目标参数，令w^(s)表示源s的参数。目标与源交互矩阵对称，且对角线为零。目标边集定义为E={{j,k}:1≤j<k≤p, θ*_jk≠0}。令N_j={k:θ*_jk≠0}表示节点j的邻域，s_j=|N_j|。对于一般的对称矩阵S和向量v，我们使用标准矩阵范数：||S||_∞ = max_{j,k} |S_jk|, ||v||_1 = ∑_j |v_j|, ||v||_2 = (∑_j v_j^2)^(1/2), ||v||_∞ = max_j |v_j|。对于p维向量v∈R^p和子集A⊆{1,…,p}，v_A表示{v_j : j∈A}。对于两个正序列{a_n}和{b_n}，我们记a_n≲b_n，若存在常数C>0不依赖于样本量和维度，使得a_n≤C b_n；记a_n≍b_n，若a_n≲b_n且b_n≲a_n同时成立。定义a∧b:=min(a,b)。

**结构**。第2节 (https://arxiv.org/html/2607.03005#S2) 回顾相关工作和迁移学习及Ising模型估计的背景。第3节 (https://arxiv.org/html/2607.03005#S3) 介绍所提出的算法，第4节 (https://arxiv.org/html/2607.03005#S4) 进行理论分析。第5节 (https://arxiv.org/html/2607.03005#S5) 展示模拟和突变数据研究。附录S.2 (https://arxiv.org/html/2607.03005#A2) 展示额外的真实数据分析，第6节 (https://arxiv.org/html/2607.03005#S6) 总结文章。

## 2 背景

本节回顾相关工作，并总结我们开发中使用的背景知识。

### 2.1 相关工作

高维回归中的迁移学习涵盖选择性信息借用、两步校正、源检测、良性过拟合插值和低维多响应估计 (Li et al., 2022 (https://arxiv.org/html/2607.03005#bib.bib26); Tian & Feng, 2023 (https://arxiv.org/html/2607.03005#bib.bib41); Kim et al., 2025 (https://arxiv.org/html/2607.03005#bib.bib24); Park et al., 2025 (https://arxiv.org/html/2607.03005#bib.bib37))。基于Lasso的邻域选择，最初为高斯图模型引入 (Meinshausen & Bühlmann, 2006 (https://arxiv.org/html/2607.03005#bib.bib31))，通过逐节点ℓ1正则化逻辑回归提供了高维Ising结构学习的标准估计量 (Ravikumar et al., 2010 (https://arxiv.org/html/2607.03005#bib.bib38))。借鉴高斯图模型中相关校正思想 (Li et al., 2023 (https://arxiv.org/html/2607.03005#bib.bib27); Zhao et al., 2026 (https://arxiv.org/html/2607.03005#bib.bib50))，Tian & Feng (2023 (https://arxiv.org/html/2607.03005#bib.bib41)) 分析了高维GLM的两步校正和源检测。其他相关背景包括时间依赖的空间变化高斯模型 (Greenewald et al., 2017 (https://arxiv.org/html/2607.03005#bib.bib20)) 以及用于成组二值响应（非图恢复）的异质性逻辑回归 (Kim et al., 2023 (https://arxiv.org/html/2607.03005#bib.bib23))。虽然最近的元学习工作探索了随机任务模型下的ℓ1正则化Ising支持恢复 (Xie & Honorio, 2024 (https://arxiv.org/html/2607.03005#bib.bib48))，但我们的设置涉及固定领域且相关性未知。我们使用源到目标的偏差公式来处理带符号设计的逐节点伪似然问题，通过基于损失的源筛选和针对更新系数的目标仅折叠凹校正来增强标准逐节点表示，以实现支持恢复。

### 2.2 迁移学习

我们简要回顾高维线性模型的标准迁移学习方法。考虑一个目标模型：
Y^(0)=X^(0)β+ε^(0), (1)
其中Y^(0)∈R^(n_0)，X^(0)∈R^(n_0×p)，β∈R^p是目标参数。我们还观测S个辅助模型：
Y^(s)=X^(s)w^(s)+ε^(s), s=1,…,S, (2)
其中w^(s)∈R^p是第s个源的参数。一个常见的结构假设是对比δ^(s)=β−w^(s)在适当意义下“小”，通常是ℓ1范数。参照Tian & Feng (2023 (https://arxiv.org/html/2607.03005#bib.bib41))，我们可以通过‖δ^(s)‖_1定义迁移水平，以及水平h的迁移集：
A_h={s:‖δ^(s)‖_1≤h}, (3)
其中h量化了源必须接近才为有用的程度。实践中，A_h未知，使用非信息源可能导致负迁移。高维中一个反复出现的策略是两步方法：(i) 使用来自信息源池化数据构造稳定估计量，(ii) 仅使用目标数据校正由此产生的偏差。该逻辑构成了我们Trans-Ising过程的基础。

### 2.3 Ising模型

Ising模型是一种成对马尔可夫随机场，通过无向图指定二值变量之间的依赖关系。令X=(X_1,…,X_p)∈{-1,1}^p。一个常见规范（无外场）为：
P_θ(x)=1/Z(θ) exp(∑_{(i,j)∈E} θ_ij x_i x_j), (4)
其中θ_ij是交互强度，Z(θ)是配分函数。直接基于似然的估计很困难，因为Z(θ)涉及2^p个状态的求和。单个节点的条件分布具有逻辑形式。对于j∈V和x_j∈{-1,1}，
P(X_j=x_j∣X_{\j}) = exp(2x_j ∑_{k≠j} θ_jk X_k) / [1+exp(2x_j ∑_{k≠j} θ_jk X_k)]. (5)
等价地，P(X_j=1∣X_{\j})=σ(2∑_{k≠j} θ_jk X_k)，其中σ(u)=(1+e^{-u})^{-1}。该恒等式激发了基于伪似然的估计和邻域选择方法。给定数据X∈{-1,1}^(n×p)，