从文本到参数：利用正则化嵌入与信度/设计上限预测项目参数

# 从文本到参数：基于嵌入正则化与信度上限和设计上限预测项目参数
来源：https://arxiv.org/html/2607.07141
\\authorsnames

\[1,1\]Shi\-Ting Chen, Jinsong Chen\\authorsaffiliations香港大学教育学院\\authornoteShi\-Ting Chen 与 Jinsong Chen 对本文贡献等同，并列为第一作者。通讯作者：Jinsong Chen \(jinsong\.chen@live\.com\)。

###### 摘要

新开发的项目通常需要经过实地测试才能获知其心理测量特性，这造成了项目校准中的冷启动问题。从项目特征预测项目参数是一个长期存在的测量问题，可追溯到线性逻辑测试模型（LLTM）；现代文本嵌入自动生成了传统LLTM方法手动指定的设计矩阵。我们提出了一个评估框架，该框架结合了对项目文本嵌入的正则化回归，报告了重复交叉验证的 $R^2$ 及其重采样标准差，并提供了两个可达到性能的上限：一个是由估计参数的标准误差导出的信度上限，另一个是由基于模拟的预测流程功效校准确立的设计上限。将该框架应用于一个数学项目库（EEDI）和一个医疗执照考试难度基准（BEA 2024），我们发现项目难度在很大程度上可以从文本预测（重复交叉验证的 $R^2 = 0.53$，约为其信度上限的 57%），而区分度和伪猜测参数的预测性则逐渐减弱。然而，一旦对照上限进行解读，这一层级结构在很大程度上被揭示为是目标信度的层级结构，而非文本信号强度的层级结构：文本在每一个难度目标上恢复了解释了几乎一致的 57-63% 的可靠方差，而 3PL 伪猜测参数的信度上限基本为零，在此校准精度下，它根本就是一个不可用的预测目标。在 BEA 数据集上，基于嵌入的回归在几乎无法解释任何方差的情况下匹配了排行榜水平的 RMSE，这说明了为什么需要无量纲指标和明确的上限来对此任务进行基准测试。所有结果均基于合并项目的重复交叉验证；我们展示了单次训练-测试划分可能会使 $R^2$ 的视在精度膨胀 0.1-0.15，并讨论了对于校准支持应用以及如何构建和报告项目难度基准的启示。

###### 关键词：

项目难度建模，文本嵌入，正则化回归，线性逻辑测试模型，项目校准，交叉验证

## 1 引言

可操作的评估项目依赖于项目库的持续开发与补充。然而，新开发的项目面临一个冷启动问题。传统上，估计项目参数需要先对新项目进行施测，收集被试反应数据，然后拟合一个心理测量模型（如项目反应理论（IRT）模型）以获得参数估计（mccarthy2021jump）。这种实地测试过程成本高昂、耗时，并且可能在正式使用前就暴露了项目（yancey2024bert）。这种负担在需要快速退役已暴露项目的高风险考试和必须等每个项目都带有校准参数才能运行的计算化适应性测验（CAT）系统中最为严重。根据项目内容准确预测项目参数，可以让新项目更快地投入使用，减少预测试样本量要求，并支持项目开发本身，例如标记其预测难度偏离预期蓝图的项目。测量学界已经开始认真看待这一前景：ulitzsch2026using 最近表明，即使是中等准确度的项目参数预测，用作信息性先验，也可以大幅减少高风险入学考试的校准样本需求。

从项目特征预测项目属性在心理测量学中并非新概念。线性逻辑测试模型（LLTM; fischer1973linear）将项目难度分解为手动指定的认知操作的加权和，而解释性项目反应建模传统（deboeck2004explanatory）将这一思想推广至任意项目协变量。认知设计系统方法利用这类特征-难度关系来生成具有可预测参数的项目（embretson1998cognitive），并且关于项目的辅助信息早已被用于改进或替代小样本校准（mislevy1988exploiting; mislevy1993how）。这一传统中的主要障碍一直是设计矩阵：手动指定那些捕获项目难度的特征。现代文本嵌入正好解决了这一障碍。嵌入模型将完整的项目文本映射到一个高维向量，该向量编码了语义内容、所需知识和表面形式，无需手动特征工程。因此，基于文本的项目参数预测可以被理解为 LLTM 的自动化、高维继承者：嵌入提供设计矩阵，回归模型提供特征权重（alkhuzaey2024text）。

这种重新阐述明确了该领域下一步需要什么，因为近期关于项目难度建模的机器学习文献面临几个反复出现的挑战。首先，嵌入模型和预测架构发展迅速；绑定于某个特定模型的结果存在过时风险，因此持久的贡献必须是一个可迁移到任何当前或未来表示方法的评估框架。其次，报告的性能难以解释：系统可以在几乎无法解释目标任何方差的情况下取得具有竞争力的均方根误差（RMSE），正如 BEA 2024 共享任务所展示的那样，其中最佳系统（RMSE = 0.299）几乎未能优于仅使用均值的基线（RMSE = 0.311）（yaneva2024findings; li2025item）。第三，多数研究将单个经典难度指标视作真值进行预测，尽管可操作校准需要多个 IRT 参数（难度、区分度、伪猜测），并且目标本身就是具有可量化不确定性的估计值。对于一个噪声估计的目标，近乎为零的预测 $R^2$ 可能更多地反映了目标本身，而非文本信号。

本研究通过一个由四个透明组件构成的评估框架来应对这些挑战：（a）对项目文本嵌入进行正则化回归（hoerl1970ridge; tibshirani1996regression; zou2005regularization），处理高维、高度相关的设计矩阵，并易于与其他要素（如生成的推理、手工特征或观测权重）结合；（b）交叉验证的 $R^2$，同时报告其在重复重采样下的变异性，作为主要的无量纲标准，并附带连接 $R^2$、RMSE 和目标标准差的确切关系；（c）*信度上限*，即任何预测变量针对一个估计目标所能达到的最大总体 $R^2$，根据校准的标准误差导出；以及（d）*设计上限*，即有限设计（给定项目、嵌入矩阵、估计器和折结构）即使对于无噪声信号也能预期报告的最大交叉验证 $R^2$，通过基于模拟的功效校正确立。这两个上限将原本模棱两可的结果转变为可解释的结果：观察到的 $R^2$ 接近上限表明文本已经提取了大部分可提取的信息，而在高上限下观察到的低 $R^2$ 则是文本信号弱的真正证据。

利用来自 EEDI 数学数据集（wang2020instructions）的项目反应数据和来自 BEA 2024 共享任务（yaneva2024findings）的难度标签，我们评估了对经典测验理论（CTT）难度以及 1PL、2PL 和 3PL 项目参数的预测。本研究探讨四个研究问题。首先，项目文本嵌入能在多大程度上预测 CTT 和 1PL 框架下的项目难度？这些估计在重采样间的稳定性如何？一旦指标置于共同基础上，与 BEA 2024 难度基准相比如何？其次，各 IRT 参数（难度、区分度和伪猜测）的预测性是否存在差异？其中多少差异可归因于目标的信度，而非文本？第三，基于推理增强的项目表示和额外的 NLP 特征是否在原始项目文本之外增加了预测信息？第四，通过观测权重纳入项目参数估计不确定性是否能改善预测？

## 2 背景与相关工作

### 2.1 获取新开发项目的参数

新开发的评估项目通常需要经验性的反应数据，然后才能用于基于 IRT 的评分、等值或适应性测验。在传统校准下，项目施测于考生，并根据反应数据估计项目参数。这个过程提供了统计上合理的项目功能估计，但成本高昂、耗时，并且可能在正式使用前暴露项目。

专家判断是项目开发过程中常见且成本较低的替代方案。经验丰富的教师或内容专家审查项目，并根据其专业判断分配难度等级（ling2008expert）。然而，专家判断是主观的，并且不能一致地再现经验估计的项目统计量。bejar1983subject 研究了主题专家对项目统计量的评估，表明专家判断不应被视为实证项目分析的替代品。attali2014estimating 进一步论证了比较判断可能改善专家对项目难度的估计，暗示常规的绝对难度评级是有限的，且易受引出格式的影响。

### 2.2 从项目特征到项目参数：心理测量学的谱系

认为项目参数可以从项目属性预测的想法在测量领域已有五十年历史。在 LLTM 中，fischer1973linear 将 Rasch 项目难度建模为项目所需认知操作的线性组合，从而可以在收集任何反应数据之前，根据新项目的设计特征计算其难度。deboeck2004explanatory 的解释性项目反应建模框架将这一思想置于广义线性混合建模的背景下，在该背景下，任何项目协变量（内容类别、语言属性、认知需求）都可以进入项目一侧的模型。embretson1998cognitive 表明，当难度可以很好地从基于理论的项目特征预测时，特征-参数映射本身可以驱动项目生成，产生参数已知的设计项目。与此同时，辅助信息传统表明，当反应数据稀缺时，可以利用项目的辅助信息来估计或更新项目参数：mislevy1988exploiting 使用项目特征作为 Rasch 难度的先验，mislevy1993how 展示了如何通过利用此类侧面信息，在几乎没有反应数据的情况下进行测验链接。最近，ulitzsch2026using 将这一逻辑用于现代项目难度建模，使用基于文本的预测构建信息性先验，从而减少了高风险应用中 3PL 校准的样本需求。

这条谱系中的两个教训构成了本研究的基础。首先，一直以来的约束是设计矩阵：LLTM 的效果取决于手动指定特征的质量，而构建这些特征需要深入的认知分析，难以跨项目库扩展。文本嵌入通过提供通用的、自动计算的特征空间消除了这一约束。其次，谱系明确表明，预测的实际价值并非替代校准，而是通过先验、筛选工具或设计反馈来降低其成本，因此合适的评估标准并非完美恢复，而是充分表征并诚实报告预测强度。这两个教训驱动了在第三节中发展的框架。

### 2.3 机器学习和 NLP 方法

基于文本的项目难度建模尝试在获取新的反应数据之前，从项目内容预测项目难度或项目参数。从机器学习的视角来看，一个校准好的项目库可以被视为一个带标签的数据集，其中项目文本提供预测变量，而估计的项目统计量或 IRT 参数提供标签。一项系统综述（alkhuzaey2024text）识别了自动难度预测中的四个常见步骤：真值标签标注、预处理、特征提取和预测。

早期研究严重依赖手动工程化的语言和表面特征。beinborn2014predicting；beinborn2015candidate 使用语言特征和机器学习模型预测语言测试的项目难度，表明项目文本包含有用信息，且预测结果可达到人类专家水平。ha-etal-2019-predicting 使用从项目文本中提取的词汇、句法和语义特征预测高风险医学考试中多项选择题的难度。benedetto2020r2de 提出了 R2DE，一个用于估计新生成问题 IRT 参数（包括难度和区分度）的基于 NLP 的框架。静态词嵌入如 word2vec 和 GloVe（mikolov2013efficient; mikolov2013distributed）被用于计算项目组件间的语义相似度（hsu2018automated），而上下文编码器则将这一概念扩展到依赖于上下文的表示。yancey2024bert 开发了 BERT-IRT，将 BERT 嵌入（devlin2019bert）和工程化的 NLP 特征整合到一个解释性 IRT 框架中以加速项目试测，mccarthy2021jump 使用基于 BERT 的项目特征构建多任务广义线性模型，以启动自适应语言测试的项目难度估计。

更近期的研究使用大型语言模型（LLM）来丰富项目表示或模拟考生。feng2025reasoning 提出了一种用于多项选择难度预测的推理和采样增强方法，为每个选项生成推理步骤并模拟选项选择可能性，该方法在 EEDI 数据集上优于线性回归和微调后的 Longformer 基线。li2025item 使用数据增强策略微调小型和大型语言模型，以应对难度标签不平衡问题；他们的最佳集成在 BEA 2024 基准上实现了 RMSE = 0.2926，优于共享任务的最佳结果 0.2990。BEA 2024 共享任务本身（yaneva2024findings）根据 RMSE 对预测临床多项选择题难度的系统进行排名；最佳系统 RMSE = 0.299，仅略微优于 DummyRegressor 基线 0.311，且概述总结认为顶级系统之间的差异很小，我们将在后文中讨论这一观察对评估指标的影响。

### 2.4 高维嵌入的正则化回归

现代文本嵌入产生高维且通常高度相关的预测变量。在项目级数据集中，校准项目的数量通常远小于嵌入维度。普通最小二乘回归因此容易过拟合并产生不稳定的系数估计。正则化回归为这种场景提供了一种透明且计算高效的方法。Lasso 回归应用 $L_1$ 惩罚，可以将某些系数精确收缩为零，从而实现变量选择（tib