不同的表征学习目标从同一心理测量数据中恢复不同的潜在结构
摘要
研究表明,不同的表征学习目标能从心理测量数据中恢复出不同的潜在结构,其中对比学习目标增强了教师-儿童的检索能力,而基于PCA的方法则更好地保留了行为表型的组织结构。
arXiv:2609.00100v1 Announce Type: new
摘要:心理测量问卷包含了丰富的项目级信息,但目前尚不清楚不同的表征学习目标是否恢复相同的潜在组织结构。我们使用塞浦路斯ProW学前教育试验基线评估中的757对匹配的教师-儿童对来研究这一问题。通过主成分分析和聚类方法,对儿童SDQ、ASBI和CBRS的项目反应进行了行为结构表征,从而得出四种行为表型。与基于PCA的表征相比,对比学习目标显著改善了教师-儿童的检索效果,将Top-1准确率从0.13%提高到7.27%,Top-10准确率从1.98%提高到56.14%。然而,对比学习表征在保留行为表型结构方面不如基于PCA的表征有效。一种联合优化对齐和行为预测的多任务目标部分恢复了行为组织,但降低了检索性能。这些发现表明,教师-儿童对应关系和行为表型代表了不同形式的潜在组织,并证明从关联心理测量数据中恢复的潜在结构取决于表征学习目标。
查看缓存全文
缓存时间: 2026/09/02 05:57
# 不同表征学习目标从相同心理测量数据中恢复不同潜在结构 来源: https://arxiv.org/abs/2609.00100 查看PDF (https://arxiv.org/pdf/2609.00100) > 摘要:心理测量问卷包含丰富的条目级信息,但不同表征学习目标是否能恢复相同的潜在组织结构尚不明确。我们利用塞浦路斯ProW学前试验基线评估中的757对匹配的教师-儿童数据对这一问题进行了研究。通过主成分分析和聚类方法,根据儿童SDQ、ASBI和CBRS条目响应表征行为结构,得出四种行为表型。对比学习目标显著提升了基于PCA表征的教师-儿童检索效果,将Top-1准确率从0.13%提高到7.27%,Top-10准确率从1.98%提高到56.14%。然而,对比表征在保持行为表型结构方面不如基于PCA的表型有效。通过联合优化对齐与行为预测的多任务目标部分恢复了行为组织结构,但降低了检索性能。这些发现表明,教师-儿童对应关系和行为表型代表了潜在组织结构的不同形式,并证明从关联心理测量数据中恢复的潜在结构取决于所使用的表征学习目标。 ## 提交历史 来自: Cong Cao \[查看邮件 (https://arxiv.org/show-email/0b144ac5/2609.00100)\] **\[v1\]**2026年8月31日 周一 15:24:35 UTC \(889 KB\)
相似文章
RepSelect:通过表示选择性实现稳健的LLM遗忘
RepSelect提出了一种稳健的LLM遗忘方法,通过压缩权重梯度的前主成分来隔离遗忘集特定的表示,在多种模型家族上相比现有基线实现了4-50倍更好的对抗重学习攻击的鲁棒性。
预测与重建:自监督语言表示学习的联合目标
本文提出了一种混合预训练目标,结合了JEPA潜在空间预测和MLM重建,用于语言模型,显示出改进的嵌入均匀性和语义-词汇平衡。
从通用到专长表示
本文证明,在完全非参数设定下,无需干预或参数约束,即可从通用模型中识别出任务相关的潜在表示,实现了跨时间步和每一步内的层次化可识别性保证。
损失不足:对比表示学习中的采样条件与归纳偏置
本文发展了一个测度论框架,分析对比学习何时恢复有意义的潜在几何结构,引入了正对采样的'多样性条件'和一个支持修正的InfoNCE变体。实验表明,采样多样性与架构归纳偏置在对比表示学习中存在关键交互。
扩展模型生成的蒸馏数据可使潜在教师特质更易恢复
本文表明,扩展任务外模型生成的蒸馏数据可以放大学生的潜在教师特质,即使数据看似无害,这表明在AI训练中需要特质感知的筛选。