概念调制模型：可识别性与外推的统一框架

# 概念调制模型：可识别性与外推的统一框架  
**来源：** https://arxiv.org/html/2606.18509  

**Soheun Yi**  
通讯作者：Soheun Yi, [email protected]。  
统计与数据科学系，卡内基梅隆大学  

**Chandler Squires**  
机器学习系，卡内基梅隆大学  

**Pradeep Ravikumar**  
机器学习系，卡内基梅隆大学  

###### 摘要  
条件潜变量模型中实现可靠泛化，需要理解可识别性与外推：即观测到的跨属性变异如何决定潜在结构，以及该结构如何决定未见属性下的分布。然而，现有的可识别性与外推保证大多依模型而定，在非线性 ICA、因果表示学习、扰动建模及相关条件潜变量模型中各自分析。我们引入 **概念调制模型（CMM）**，这是一类属性索引的条件生成模型，其结构为 \(A \to \Lambda \to C \to X\)，其中属性选择调制器，调制器诱导潜在概念律，概念生成观测特征。CMM 将基于转移的可识别性提升到条件设置，方法是证明观测属性上的特征一致性会诱导出受 CMM 类约束的潜在概念转移。我们通过 **属性势**（即属性条件概念律之间的对数密度比）表达这些约束，将通用提升步骤与模型特定的刚性论证分离。同样的势也控制外推：未见属性上的一致性恰好当传输后的属性势恒等式扩展到这些属性时成立。这产生了代数外推准则，识别出若干现有可识别性与外推结果背后的公共基于势的证明对象，并且与这些工作中的模型特定刚性论证结合时，可恢复其明确规定结论。  

## 1 引言  
潜变量表示学习中的可识别性关注的是，潜在结构是否不仅对预测有用，而且由数据中的变异性唯一确定，至少可达已阐明的不确定性程度（Hyvarinen 等，2019 (https://arxiv.org/html/2606.18509#bib.bib4)；Khemakhem 等，2020a (https://arxiv.org/html/2606.18509#bib.bib2)；Schölkopf 等，2021 (https://arxiv.org/html/2606.18509#bib.bib1)）。这个问题对可靠泛化至关重要，因为仅凭观测条件的数据不一定能确定未见条件下的行为：两个模型可能在所有观测条件下一致，却在支持集外不一致（D’Amour 等，2022 (https://arxiv.org/html/2606.18509#bib.bib3)）。可识别性保证提供了绕过此障碍的原则性途径：如果控制属性如何影响观测的潜在结构是可识别的，那么恢复它有助于证明超出观测训练条件的泛化。  

本文考虑条件生成模型中与此途径相关的两个问题，其中观测特征 \(X\) 随属性 \(A \in \mathcal{A}\) 变化（属性如环境、干预、扰动或条件输入）。**可识别性** 问的是，由属性 \(a \in \mathcal{A}_\textnormal{o}\) 上观测到的条件特征分布 \(p(x \mid a)\) 所决定的（若非平凡模糊性下）潜在结构方面有哪些，其中 \(\mathcal{A}_\textnormal{o} \subseteq \mathcal{A}\) 可能是 \(\mathcal{A}\) 的一个非常小的子集。**外推** 问的是，对观测条件分布的一致性，加上模型类的结构假设，何时迫使在未见属性 \(a' \in \mathcal{A} \setminus \mathcal{A}_\textnormal{o}\) 上的 \(p(x \mid a')\) 也一致。  

对这些问题，现有答案大多是逐模型发展的。非线性 ICA 和可识别 VAE 使用辅助或条件变量识别潜在源（Hyvarinen 等，2019 (https://arxiv.org/html/2606.18509#bib.bib4)；Khemakhem 等，2020a (https://arxiv.org/html/2606.18509#bib.bib2)）。因果表示学习使用环境或干预恢复潜在因果变量和因果结构（Ahuja 等，2023 (https://arxiv.org/html/2606.18509#bib.bib5)；Squires 等，2023 (https://arxiv.org/html/2606.18509#bib.bib6)；von Kügelgen 等，2023 (https://arxiv.org/html/2606.18509#bib.bib8)；Varıcı 等，2024a (https://arxiv.org/html/2606.18509#bib.bib33), 2025 (https://arxiv.org/html/2606.18509#bib.bib9)）。扰动模型研究学习到的潜在响应何时能外推到未见扰动（von Kügelgen 等，2025 (https://arxiv.org/html/2606.18509#bib.bib13)）。尽管这些结果都依赖于跨属性的结构化变异，但其假设和结论通常以模型特定术语陈述。  

近期的若干工作提供了统一视角，但范围与我们不同。例如，Khemakhem 等 (2020a (https://arxiv.org/html/2606.18509#bib.bib2)) 通过条件相关潜在先验统一了 VAE 和非线性 ICA，而 Yao 等 (2025 (https://arxiv.org/html/2606.18509#bib.bib58)) 通过不变性原理统一了因果表示学习。Reizinger 等 (2025 (https://arxiv.org/html/2606.18509#bib.bib14)) 通过可交换机制或相关结构假设研究可识别性。这些框架阐明了可识别性结果的重要族系，但主要解决特定结构制度内潜在表示何时可识别的问题。我们的目标是互补的：通过揭示若干可识别性结果背后的对比对象，一次性处理广泛的结构制度，并使用这些对象推导外推条件。我们在附录 A (https://arxiv.org/html/2606.18509#A1) 中提供更详细的综述和比较。  

为给这些不同结构制度提供一个共同形式化，我们引入属性条件生成的一种共享结构形式：\(A \to \Lambda \to C \to X\)。这里，属性 \(A\) 索引潜在调制器 \(\Lambda\)，调制器指定潜在概念分布，概念 \(C\) 生成观测特征 \(X\)。我们将这类模型称为 **概念调制模型（CMM）**。调制器将属性特定索引与映射调制器到概念分布的共享规则分开，从而将条件概念律跨属性地绑定在一起。  

我们的分析建立在 Squires 和 Ravikumar (2026 (https://arxiv.org/html/2606.18509#bib.bib16)) 的基于转移的可识别性视角上，该视角将潜在可识别性简化为刻画与模型类兼容的概念空间转移。CMM 是此视角的条件提升：对每个固定属性，CMM 诱导一个潜在概念生成模型，而 CMM 类通过共享调制机制将属性条件概念律族系绑定。这种属性索引结构提出了非条件设置中不存在的外推问题：当特征分布在观测属性上一致时，何时迫使在未见属性上也一致？  

我们用 \(\log p(c \mid a) - \log p(c \mid a_0)\)（称为 **属性势**）来刻画特征等价性。属性势去除跨属性共有的项，隔离潜在概念律随 \(A\) 如何变化。我们证明，特征等价的 CMM 通过一个保持观测属性势的潜在转移相联系，因此可识别性简化为确定哪些转移依然与模型类兼容。同一对象也刻画外推：一旦观测属性上的一致性被提升为潜在转移，外推等价于相应的传输后属性势恒等式不仅在 \(\mathcal{A}_\textnormal{o}\) 上成立，而且在感兴趣的未见属性上也成立。这些条件恢复了近期因果表示学习和扰动建模的保证，也为结构化属性空间生成了新的基于交互的外推保证。  

我们的贡献如下：  

- **概念调制模型**：我们引入 CMM，一种图形结构为 \(A \to \Lambda \to C \to X\) 的条件生成框架（定义 1 (https://arxiv.org/html/2606.18509#Thmdefinition1) 和 2 (https://arxiv.org/html/2606.18509#Thmdefinition2)）。它将属性特定索引与共享调制机制分离，捕获多种弱监督潜变量设置。  
- **基于转移的条件可识别性**：基于 Squires 和 Ravikumar (2026 (https://arxiv.org/html/2606.18509#bib.bib16)) 的转移框架，我们证明 CMM 的条件提升定理：观测属性上的特征等价性诱导一个与模型类两个组件均兼容的潜在概念转移（定理 1 (https://arxiv.org/html/2606.18509#Thmtheorem1)）。然后我们通过属性势的保持来刻画概念侧兼容条件（定理 2 (https://arxiv.org/html/2606.18509#Thmtheorem2)）。  
- **通过属性势进行外推**：我们证明，一旦观测特征一致性被提升为潜在转移，未见属性上的一致性等价于传输后属性势恒等式的扩展（定理 3 (https://arxiv.org/html/2606.18509#Thmtheorem3)）。这产生了代数外推准则，将扰动外推保证作为特例恢复，并为结构化属性空间给出基于交互的外推结果。  

## 2 统一框架：概念调制模型  

### 2.1 预备知识与记号  
全文所有空间均为标准 Borel 空间。对于定义在空间 \(\mathcal{U}\) 上的测度 \(\mu, \mu'\)，若 \(\mu\) 关于 \(\mu'\) 绝对连续（即 \(\mu'(B)=0 \implies \mu(B)=0\)），记作 \(\mu \ll \mu'\)；若 \(\mu \ll \mu'\) 且 \(\mu' \ll \mu\)，记作 \(\mu \sim \mu'\)。我们说条件在 \(\mu\)-a.e. \(u \in \mathcal{U}\) 上成立，如果使条件不成立的点 \(u\) 的集合的 \(\mu\)-测度为零。记 \(\mu \otimes \mu'\) 为 \(\mu, \mu'\) 的乘积测度。  

对于空间 \(\mathcal{U}\)，令 \(\mathcal{P}(\mathcal{U})\) 表示 \(\mathcal{U}\) 上的概率测度集。对于空间 \(\mathcal{U}, \mathcal{V}\)，令 \(\mathcal{F}(\mathcal{U} \to \mathcal{V})\) 表示从 \(\mathcal{U}\) 到 \(\mathcal{V}\) 的可测映射集，\(\mathcal{K}^{\textnormal{mk}}(\mathcal{U} \to \mathcal{V})\) 表示从 \(\mathcal{U}\) 到 \(\mathcal{V}\) 的马尔可夫核集。对于可测 \(\mathcal{U}' \subseteq \mathcal{U}\)，记 \(\mathbf{K}_{\mathcal{U}'}\) 为 \(\mathbf{K}\) 在 \(\mathcal{U}'\) 上的限制。  

给定可测映射 \(f \in \mathcal{F}(\mathcal{U} \to \mathcal{V})\)，令 \(\mathbf{T}_f : \mathcal{P}(\mathcal{U}) \to \mathcal{P}(\mathcal{V})\) 为关联的推前算子，即对任意 \(\mu \in \mathcal{P}(\mathcal{U})\) 和可测 \(B \subseteq \mathcal{V}\)，有 \((\mathbf{T}_f \mu)(B) := \mu(f^{-1}[B])\)。给定马尔可夫核 \(\mathbf{K} \in \mathcal{K}^{\textnormal{mk}}(\mathcal{U} \to \mathcal{V})\)，其对测度 \(\mu \in \mathcal{P}(\mathcal{U})\) 的推前定义为 \((\mathbf{K} \mu)(B) := \int_{\mathcal{U}} \mathbf{K}(B \mid u) \, \mu(du)\)。  

作为本文的贯穿示例，我们考虑由以下过程诱导的条件分布：  
\[
p(c \mid a) \propto q(c) \exp\{\langle f(a), c\rangle\}, \quad X = g(C),
\tag{1}
\]  
其中 \(f\) 和 \(g\) 未知。这里，属性 \(a\) 被映射到调制器 \(\lambda = f(a)\)，调制器 \(\lambda\) 通过指数族倾斜 \(q(c) \exp\{\langle \cdot, c\rangle\}\) 改变潜在概念律，概念由 \(g\) 映射到观测。  

### 2.2 概念调制模型  
概念调制模型（CMM）将条件生成模型通过 \(A \to \Lambda \to C \to X\) 分解，其中 \(A \in \mathcal{A}\) 是 **属性**，\(\Lambda \in \mathscr{L}\) 是 **调制器**，\(C \in \mathcal{C}\) 是潜在 **概念**，\(X \in \mathcal{X}\) 是观测 **特征**。直观上，属性选择调制器，调制器指定概念上的分布，概念映射到特征空间。这里，\(\mathcal{A}, \mathscr{L}, \mathcal{C}, \mathcal{X}\) 是标准 Borel 空间，分别称为属性、调制器、概念和特征空间。在运行示例 (1) 中，\(A \to \Lambda\) 阶段对应映射 \(f\)，\(\Lambda \to C\) 阶段对应指数倾斜，\(C \to X\) 阶段对应观测映射 \(g\)。  

我们现在在马尔可夫核层面形式化这一生成结构。  

**定义 1.** 在 \((\mathcal{A}, \mathscr{L}, \mathcal{C}, \mathcal{X})\) 上的 **概念调制模型** \(\mathsf{M}\) 是一个三元组 \(\mathsf{M} = (\mathbf{Q}, \mathbf{B}, \mathbf{K})\)，其中  
- \(\mathbf{Q} \in \mathcal{K}^{\textnormal{mk}}(\mathcal{A} \to \mathscr{L})\) 是 **索引核**，  
- \(\mathbf{B} \in \mathcal{K}^{\textnormal{mk}}(\mathscr{L} \to \mathcal{C})\) 是 **概念调制核**，  
- \(\mathbf{K} \in \mathcal{K}^{\textnormal{mk}}(\mathcal{C} \to \mathcal{X})\) 是 **混合核**。  

\(A\)  
\(\Lambda\)  
\(C\)  
\(X\)  
\(\mathbf{Q}\)  
\(\mathbf{B}\)  
\(\mathbf{K}\)  
(a) CMM 的图形模型  
参见说明  
(b) 有效与无效的概念转移 \(\tau_v\) 和 \(\tau_b\)  
参见说明  
(c) 有效的混合转移 \(\tau_v\) 和无效的混合转移 \(\tau_b\)  
参见说明  
(d) 转移交集准则（定理 1）  
参见说明  

图 1：CMM 与转移约束概览。  
(a) 观测属性 \(A\) 影响调制变量 \(\Lambda\)，调制变量调制潜在概念 \(C\)，概念生成观测 \(X\)。  
(b, c) 有效的概念转移和混合转移是可以吸收到相应模型类中的概念空间变换。 (b) 中的箭头表示限制到 \(\mathcal{A}_\textnormal{o}\) 后的等价性，而 (c) 中的箭头读作 \(\mathbf{K} \overset{\nu}{=} \mathbf{K}' \mathbf{T}_{\tau_v} \overset{\nu}{=} \mathbf{K}'' \mathbf{T}_{\tau_b}\)。  
(d) 转移交集准则选择两侧均有效的转移；若其交集包含于 \(\mathfrak{G}\)，则 CMM 在 \(\sim_{\mathfrak{G}}\) 意义下可识别（定理 1）。  

我们记 \(\mathbf{P}^{\mathsf{M}} := \mathbf{K} \mathbf{B} \mathbf{Q} \in \mathcal{K}^{\textnormal{mk}}(\mathcal{A} \to \mathcal{X})\) 为模型 \(\mathsf{M}\) 诱导的条件分布。