变分贝叶斯变量选择后恢复潜在结构:部分探索性因子分析中的拟合评估与因子数选择
摘要
本文针对变分贝叶斯变量选择下的部分探索性因子分析(PEFA),开发了后选择拟合评估方法,提出了绝对与相对拟合诊断指标以及一种用于因子数选择的无尺度增益规则,并通过仿真和实证案例进行了验证。
arXiv:2607.07159v1 公告类型:cross
摘要:在部分探索性因子分析(PEFA)中,载荷结构和因子数量仅被弱指定。部分验证性因子分析的正则化变分近似(PCFA VA)通过贝叶斯变量选择(使用尖峰与板状先验为未指定的载荷分配包含概率)来恢复这一结构。本研究针对该方法引入了一个后选择评估框架。我们通过硬选择(将概率阈值化为稀疏模式)或软选择(保留概率作为有效参数计数的权重)将收敛解转换为协方差模型。由此推导出自由度、绝对拟合诊断指标(RMSEA、SRMR、CFI、TLI)以及相对准则(AIC、BIC、ELBO)。为了确定因子数量,我们提出了一种带有持续下降保护的无尺度增益规则。仿真表明,绝对指标能成功跟踪载荷恢复并标记欠因子化。虽然原始准则过度因子化,但我们的增益规则能准确恢复真实维度,其中ELBO变体最为稳健。最后,一个包含100个条目的PID 5示例表明,我们的模型比验证性25个方面模型拟合更好,并能一致地恢复不同规范下的主要结构。
查看缓存全文
缓存时间: 2026/07/09 07:52
# 变分贝叶斯变量选择后恢复潜在结构:部分探索性因子分析中的拟合评估与因子数选择
来源:https://arxiv.org/html/2607.07159
作者单位:a香港大学教育学院,b香港教育大学课程与教学学系
###### 摘要
在部分探索性因子分析(PEFA)中,载荷结构和因子个数仅被弱指定,而用于部分验证性因子分析的正则化变分近似(PCFA-VA)通过贝叶斯变量选择恢复结构:带有变分推断的尖峰-平缓先验为每个未指定载荷赋予一个包含概率。本研究开发了此类变量选择所需的选后评估方法。我们将收敛后的解转换为硬选择下的协方差模型(将包含概率阈值化为一固定稀疏模式)或软选择下的协方差模型(保留概率作为权重,并依据贝叶斯和广义自由度精神得出有效参数个数)。我们推导了相应的参数计数、自由度、绝对拟合诊断指标(RMSEA、SRMR、CFI、TLI)以及相对准则(AIC、BIC和算法本身的证据下界ELBO)。为选择因子个数,我们提出了一个尺度自由的增益规则并辅以持续下降保护:仅当某个因子在某一准则上的边际增益超过最大增益的固定比例时才保留该因子,并给出了该规则精确恢复有界真实维数的条件。两项模拟研究表明:绝对指标能追踪载荷恢复并标识欠因子化;原始准则会导致过因子化,而增益规则能在较宽的阈值范围内恢复真实维数;ELBO增益是在严重干扰下最稳健的变体。一个基于100条目PID-5的实证例子表明:即使在不利于它的插入式评估下,所选解也比验证性的25层面模型拟合更好;两个完全不同的指定方案一致地恢复了主要潜在结构;并且指定方案控制了相互共线因子的分辨率。
###### 关键词:贝叶斯变量选择;尖峰-平缓先验;部分探索性因子分析;变分近似;模型拟合;有效参数个数
## 1 引言
部分验证性因子分析(PCFA)旨在弥合探索性因子分析(EFA,几乎不施加先验知识)与验证性因子分析(CFA,载荷矩阵被强指定)之间的实践差距[chen2021partially]。PCFA的正则化变分近似(PCFA-VA)通过采用确定性变分优化方案替代计算密集的MCMC估计,并利用随机搜索变量选择(SSVS)识别未指定载荷的活跃与不活跃状态,进一步改进了该框架[jin2025regularized]。在PCFA-VA中,指定矩阵Q的条目可以是被要求的、不可要求的或未指定的,从而允许在同一模型中融入不同数量的实质知识。因此,恢复部分指定的载荷结构,本质上是一个高维潜在变量模型中的贝叶斯变量选择问题:每个未指定载荷是一个候选变量,尖峰-平缓先验提供选择机制,收敛后的变分后验为每个候选变量赋予一个包含概率。
在本研究中,我们将PCFA-VA框架扩展到部分探索性因子分析(PEFA),其中载荷结构以及可能的因子个数都是部分且甚至弱指定的。算法、符号、先验、变分后验矩以及载荷活跃性规则均与原始PCFA-VA公式保持一致。然而,PEFA中遇到的问题有本质不同,因为Q包含大量未指定条目,且可能需要比较K的候选值,这要求明确的拟合策略和相应的拟合统计量。
本文旨在为此变量选择机制配备实践中所需的选后评估工具:类似于常规结构方程模型(SEM)和因子分析中使用的拟合统计量,但其定义需尊重产生模型的选择步骤。这些统计量用于两项相关任务。首先,在拟合了固定K和部分指定Q矩阵的模型后,研究者需要绝对拟合诊断指标来评估所选协方差结构是否充分再现了观测协方差矩阵。其次,当候选模型之间的K或Q不同时,研究者需要相对拟合准则来平衡协方差再现与模型复杂性,而所选模型的复杂性本身就非平凡:阈值化模式产生离散参数计数,而包含概率本身则依据贝叶斯和广义自由度精神得出一个*有效*参数个数[spiegelhalter2002bayesian, efron2004estimation]。
以下章节定义了硬选择和软选择下的协方差模型、其对应的参数计数和自由度、基于这些量的拟合指数,以及一个用于选择因子个数的尺度自由增益规则和该规则恢复有界真实维数的形式化条件。两项模拟研究校准了这些工具,一个基于DSM-5人格量表的实证分析既展示了这些工具,又检验了它们对指定方案的稳健性。
## 2 分析框架
### 2.1 带有拟合统计量的PEFA逻辑
在心理测量分析中,当存在大量干扰结构(如次要因子或局部依赖性)时,维数不确定性通常难以避免。当潜在维度数量很大时,这一问题尤为突出。该问题通常从统计角度处理,因为不同的保留方法可能建议不同的因子个数。例如,基于平均随机特征值或第95百分位数的平行分析[horn1965rationale]、经验性Kaiser准则[braeken2017empirical]以及Hull方法[lorenzoseva2011hull]。常被忽视的是实质视角:一个小因子是"次要"的还是具有实质意义,可能取决于理论、测量目的和预期解释[auerswald2019determine]。这表明潜在维度的最优结构可能并非总是唯一的。在半开放或部分探索性设定中,更现实的做法是处理一个合理的因子个数窗口,并关注主要潜在模式在该范围内是否稳定且可解释。
当配备了绝对和相对拟合统计量后,PCFA-VA框架非常适合处理这种模型不确定性。绝对拟合指标如RMSEA、SRMR、CFI和TLI有助于判断对于给定维数,所选的主要潜在模式是否充分;而相对拟合指标如AIC和BIC可以比较不同K值或不同部分指定Q矩阵的候选解。具体来说,我们建议基于一个主干指定矩阵Q,在一个因子窗口内搜索主要结构。因子窗口可以来自因子提取方法和实质理由的组合,主干Q可以从实质知识中部分指定。然而,不同拟合统计量的定义和行为并非显而易见,需要在带有因子窗口的PEFA设定下进行处理。
### 2.2 正则化变分PCFA后的拟合评估
设Y = (y_{ij})_{N×J}表示N个受访者和J个观测变量的中心化观测响应矩阵。遵循[jin2025regularized]的PCFA-VA公式,变量j的测量模型为:
Y_j = η Λ_j^⊤ + ε_j, ε_j ∼ N_N(0, ψ_{jj} I_N), (1)
其中Y_j = (y_{1j}, ..., y_{Nj})^⊤, η = (η_1, ..., η_N)^⊤是N×K的潜在因子矩阵,Λ_j = (λ_{j1}, ..., λ_{jK})是变量j的载荷向量。个体因子得分服从:
η_i | Φ ∼ N_K(0, Φ), (2)
其中Φ = (φ_{kk'})_{K×K}是因子协方差矩阵。与PCFA-VA一致,因子尺度通过将Φ标准化为相关矩阵来识别,而非固定每个因子的一个载荷。误差协方差矩阵是对角化的:
Ψ = diag(ψ_{11}, ..., ψ_{JJ}). (3)
因此,给定载荷矩阵Λ = (Λ_1, ..., Λ_J)^⊤和参数向量θ(包含自由载荷、因子相关和误差方差),隐含的协方差模型为:
Σ(θ) = Λ Φ Λ^⊤ + Ψ. (4)
如果采用不同的识别方案(例如固定每个因子一个载荷并估计因子方差),则下文中的参数计数和自由度应相应修改。
部分指定的载荷结构由Q = (q_{jk})_{J×K}编码。与PCFA-VA一致,q_{jk}=1表示被要求的载荷,q_{jk}=0表示固定为零的不可要求载荷,q_{jk}=−1表示未指定载荷。对于每个未指定载荷,PCFA-VA通过SSVS先验引入一个潜在载荷活跃性指示变量γ_{jk}:
λ_{jk} | γ_{jk} ∼ N{0, (1−γ_{jk})v_0 + γ_{jk}v_1}, γ_{jk} ∼ Bernoulli(ρ), (5)
其中v_1 > v_0 > 0,因此活跃载荷来自具有较大方差v_1的平缓分布,不活跃载荷来自具有小方差v_0的尖峰分布。被要求的载荷(q_{jk}=1)则接受一个扩散正态先验λ_{jk} ∼ N(0, h_0),其中h_0是一个固定的大方差,因此可以自由估计。
设Γ收集未指定条目的指示变量γ_{jk}。这里ρ表示SSVS先验中的伯努利包含概率,如[jin2025regularized]公式(6)所示;当没有先验载荷活跃性信息时,通常固定为0.5。为避免与Q的条目q_{jk}混淆,设q_var(·)表示变分密度,并定义
π̂_{jk} = q_var(γ_{jk}=1), λ̂_{jk} = E_{q_var}(λ_{jk}) (6)
为收敛后的变分后验载荷活跃性概率和后验均值。判断一个未指定条目是否被要求或不可要求,等价于识别相应载荷是否活跃。默认的PCFA-VA活跃性规则是:
π̂_{jk} ≥ τ, (7)
其中通常使用阈值τ=0.50,与[jin2025regularized]中π̂_{jk} ≥ 0.50 ⇔ γ̂_{jk}=1的规则一致,尽管敏感性分析可能考虑更保守的值[rovckova2014emvs, you2023approximated]。
### 2.3 硬选择与软选择
为进行类似SEM的拟合评估,收敛后的变分解被转换为协方差模型。硬选择模型将每个未指定载荷视为活跃或不活跃。定义:
a_{jk}^H(τ) = { 1, q_{jk}=1; 0, q_{jk}=0; I(π̂_{jk} ≥ τ), q_{jk}=−1 }, (8)
以及
λ̃_{jk}^H = a_{jk}^H(τ) λ̂_{jk}. (9)
设Λ̃_H为所得载荷矩阵。设Φ̂为因子相关矩阵的标准化变分估计,Ψ̂ = diag{ψ̂_{11}, ..., ψ̂_{JJ}}为对角误差协方差矩阵的变分估计。硬选择的拟合协方差矩阵为:
Σ̂_H = Λ̃_H Φ̂ Λ̃_H^⊤ + Ψ̂. (10)
此硬选择协方差模型最接近于传统的稀疏CFA/SEM模型,因为它在PCFA-VA载荷活跃性步骤后产生一个固定的载荷模式。唯一观测协方差矩的数量为:
m = J(J+1)/2. (11)
在Φ的相关矩阵识别下,因子相关参数的名义数量为K(K−1)/2。硬选择的载荷计数为:
p_{Λ,H}(τ) = Σ_{j=1}^J Σ_{k=1}^K I(q_{jk}=1) + Σ_{j=1}^J Σ_{k=1}^K I(q_{jk}=−1) I(π̂_{jk} ≥ τ). (12)
硬选择协方差参数的名义数量为:
t_H^{nom}(τ) = p_{Λ,H}(τ) + J + K(K−1)/2, (13)
其中J计数误差方差。如果所选载荷模式在普通CFA意义上是局部可识别的,则硬选择的名义自由度为:
df_H^{nom} = m − t_H^{nom}. (14)
对于完全未指定或弱指定的Q矩阵,名义计数可能夸大模型维度,因为某些旋转方向可能仍然是冗余的[browne2001overview]。因此,基于秩的调整定义更可取。设
Δ_H = ∂vech{Σ(θ)}/∂θ_H^⊤ |_{θ̂_H} (15)
为唯一协方差元素相对于硬选择参数向量(包括选中的活跃载荷、因子相关和误差方差)的雅可比矩阵。定义局部硬选择维度为:
t_H^{rank} = rank(Δ_H). (16)
对于最终的硬选择模型,相似文章
用于纵向矩阵数据的经验变分贝叶斯分解
本文提出了一种经验变分贝叶斯(EVB)方法,用于对具有时间相关因子、不规则时间点和缺失值的高维纵向矩阵数据进行低秩分解,并自动确定包括秩在内的超参数。模拟实验和多发性硬化症基因时间序列数据的应用表明,与其他竞争方法相比,该方法在信号恢复和缺失值插补的准确性方面均有所提升。
$\mathbf{\lambda}$-VAE:后验坍塌的方差均衡
识别了VAEs中后验坍塌的两个耦合原因,并引入了λ-VAE,这是一种对重新参数化步骤的修改,通过均衡各潜变量维度的方差来减少坍塌并提高信息容量。
高斯先验何时失效?强化学习微调的潜在几何研究
本文研究了为什么在对潜在扩散模型进行强化学习微调时,VAE 潜在空间中的标准高斯先验 N(0,I) 可能失效,揭示了 KL 正则化会将多模态数据压缩到相互重叠的潜在区域,并展示了通过几何中介引入高斯混合先验,可将坍塌阈值提高至原来的 71 倍,相关理论已通过 Lean 4 验证。
FADEx:基于特征归因与失真的降维解释
FADEx 提出了一种新颖的局部逐实例特征归因方法,用于解释降维技术,利用泰勒展开和奇异值分解提供模型无关的解释和失真分析。
通过具有效率意识的变分后验引导实现高效的大语言模型推理
本文介绍了 VPG-EA 框架,该框架利用变分推断和后验引导,通过解决思维链生成中的“过度思考”现象,提高了大语言模型的推理效率。