在社会科学生中验证LLMs：认知威胁与新兴规范

# 在社会科学中验证大语言模型：认知威胁与新兴规范 来源：https://arxiv.org/html/2607.07915  
1密歇根大学安娜堡分校信息学院，美国安娜堡  
2密歇根大学安娜堡分校复杂系统研究中心，美国安娜堡  
\*通讯作者。电子邮箱：[email protected]  

###### 摘要  
大型语言模型（LLMs）正在重塑社会科学方法论。研究者越来越多地通过提示语言模型来生成社会概念的定量测量，例如标注数据或模拟调查响应。然而，LLMs 带来了方法上的挑战，包括偏差、幻觉以及跨情境的脆弱性，这些挑战对效度构成不明确的威胁。应对这些挑战的标准实践和规范尚在形成中。我们收集并系统分析了来自八种顶级社会科学期刊的综合论文语料库中的验证实践，这些论文将 LLMs 作为测量工具使用。我们发现，LLM 生成的测量在实证分析中常常发挥核心作用，但验证实践既不连贯也有限。我们概述了用于更稳健验证的补充策略，为建立更好的 LLM 在社会科学中使用的规范和标准指明方向。

## 1 引言  
在各个领域，社会科学家越来越多地采用提示大型语言模型（LLMs）来生成社会概念定量测量的做法。例如，研究者通过提示 LLMs 来标注和编码数据、模拟调查响应以及估计意识形态立场，从而将其用作测量工具。然而，社会科学的进步和合法性依赖于提出有效论证的能力。反过来，提出有效论证往往依赖于对社会建构（如意识形态、情感或情绪）进行有效测量的能力。本文实证考察了近期将 LLMs 作为测量工具的趋势，并指出了社会科学研究中重要的效度挑战（与机遇）。  

LLMs 作为测量工具的广泛采用，反映了它们在耗时任务（如数据标注或编码）中作为更快、更便宜且可能更准确的人类替代方案的普遍吸引力（？，？）。研究者还认为，LLMs 比替代性计算方法（如训练定制机器学习模型；（？））更容易使用，并且其性能和灵活性使其能够应用于比社会科学家早前采用的计算文本分析方法（？，？）更广泛、更复杂的任务。无论研究者使用 LLMs、基于词典的方法、人工编码还是任何其他测量工具，测量抽象构念都需要对概念的定义及其可观测方式做出解释性选择，这为分歧和错误留出了空间（？，？）。这些方法论选择具有重要影响且可争议，效度无法被预先假定。即使计算工具日益复杂，研究者始终需要开发并采用适合情境的验证其测量结果的方法（？，？，？）。  

尽管 LLMs 作为测量社会概念的高效工具具有潜力，但仍有充分理由对其作为测量工具的使用持怀疑态度。来自自然语言处理的研究突显了 LLMs 的许多挑战，包括其对提示或配置微小变化的敏感性（？，？，？，？，？，？，？）、偏差（？，？）以及校准不良（？，？，？）。连同其他模型局限，这些问题会影响 LLMs 的事实可靠性，它们有时会产生连贯但错误的“幻觉”输出。此外，错误难以预测或缓解，因为模型偏差的确切性质以及提示与 LLM 性能之间的关系尚不明确（？，？）。虽然使用标注数据对模型预测进行去偏差的方法是一个活跃的研究领域（？，？，？），但这些方法带来的改进往往很小，且无法保证在任何特定情况下有效（？）。  

将 LLMs 作为测量工具使用的标准实践和规范仍在形成中。虽然已有前人工作调查了研究者对 LLMs 在社会科学研究中使用的担忧和动机（？，？，？），但很少有研究考察当前使用和验证 LLMs 作为测量工具的实践。在本文中，我们收集了一个综合语料库，涵盖八种顶级社会科学期刊中那些将 LLMs 作为测量工具使用的论文。我们分析该语料库以发现 LLMs 在社会科学研究中的使用模式，并记录和探讨验证方法。借鉴测量理论的传统，我们提出以下问题：

**研究问题 1**：社会科学家在顶级社会科学期刊中如何将 LLMs 用作测量工具？  
**研究问题 2**：这些研究者如何验证他们的测量和声明？

我们发现，LLM 生成的测量在实证分析中经常发挥核心作用，但验证实践既有限也不一致。我们展示了当前实践如何被构念效度的单个方面所主导，并概述了更稳健验证的补充策略。我们的工作有助于为 LLMs 在社会科学中的使用制定更好的规范和标准指明前进方向。

## 2 结果

### 2.1 概览与使用案例  
我们收集了来自顶级社会科学期刊（参见方法（https://arxiv.org/html/2607.07915#S5）的 2,143 篇论文，发表于 2022 年至 2025 年末。其中，我们根据编码手册中的纳入标准，识别出 27 篇论文中的 50 个测量任务，这些任务提示 LLM 生成社会概念的定量测量（每篇论文平均任务数：1.9，最多 10 个；参见其他材料与方法（https://arxiv.org/html/2607.07915#Sx1.SSx1.SSSx3）和表 S1（https://arxiv.org/html/2607.07915#Sx1.SSx2）了解更多细节）。请注意，这 27 篇文章并非顶级社会科学论文中用于测量目的使用 LLMs 的样本。它们是一个综合语料库，标志着第一波研究浪潮，这必将发展成为更大规模的研究浪潮。从这个意义上说，这 27 篇文章为未来的研究提供了范例，因此理解这些早期研究者所做的决策至关重要。  

在我们的语料库中，论文最常使用 LLMs 来标注或编码数据（47 个任务，25 篇论文），尽管有两篇论文（3 个任务）使用 LLMs 来模拟调查参与者。这种任务类型的分布可能受我们的选择标准影响，因为我们只考虑那些 LLMs 产生定量测量（如分类或定标）的使用情况，并且只关注顶级社会科学期刊。重要的是，LLM 生成的测量在这些论文中常常发挥核心作用。最常见的是，LLM 生成的测量作为主要分析的输入，而在少数研究中，它们被用于数据过滤或验证等更有限的能力（例如，生成用于错误分析的参考标签，或作为另一种方法的稳健性检查）（参见表 S2（https://arxiv.org/html/2607.07915#Sx1.SSx2））。鉴于这种在研究声明中的核心地位，严谨的报告和验证实践至关重要，然而我们发现在实践中验证和报告既有限也不一致。本节剩余部分围绕研究者使用 LLMs 作为测量工具时面临的关键决策（借鉴？，？中的测量建模框架）展开：他们如何定义旨在测量的概念，如何设计其工具，以及如何验证结果测量。我们围绕测量过程的三个核心阶段组织结果：概念化（§2.2）、操作化（§2.3）和验证（§2.4）。

### 2.2 概念化：在没有详细定义和验证的情况下，概念工作从研究者传递给模型  
大多数社会科学概念可以有多种理解方式，有些概念的定义高度争议（例如“恐怖主义”、“隐私”），因此精确定义所要测量的内容十分重要（？, ？,？）。在实践中，我们发现语料库中的概念常常未被充分明确。最常见的情况（13 篇论文，29 个任务）是，研究者不尝试定义他们旨在测量的概念，仅使用一个单词或简短短语来指代它。¹¹¹我们根据（？）改编了编码手册中概念说明级别的分类。详情参见补充材料中的其他材料与方法（https://arxiv.org/html/2607.07915#Sx1.SSx1.SSSx3）。例如，（？）使用提示“*以下帖子是否具有攻击性？仅用数字回答：1 表示攻击性，0 表示无攻击性*”，而未定义“攻击性”。包含纳入和排除标准的详细概念定义仅出现在少数案例的提示中（3 篇论文，4 个任务）。即使是词典式定义，提供更高级、通用的描述（例如，“*一个事件是一个持续的连贯情境。*”（？））也很少包含在提示中（7 篇论文，7 个任务）。即使研究者已经仔细定义了他们的构念，如何有效地将这些详细的操作性定义纳入提示仍是一个活跃的研究领域：Halterman 和 Keith（2025）（？）发现，在提示中包含详细的规约性定义有时会*降低* LLM 的性能，这引发了关于提示如何被解释的问题。少数论文尝试通过实证解决这一问题，针对黄金标准数据（如人工标注）迭代优化提示，要么通过自动提示工程（1 篇论文，1 个任务），要么通过非正式的试错（8 篇论文，9 个任务）。除此之外，我们几乎没有发现关于如何有效将概念定义纳入提示的讨论。总体而言，如果没有明确定义的概念，使用 LLMs 作为测量工具的研究者面临失去对其测量概念控制的风险。

### 2.3 操作化：使用 LLMs 的研究者面临许多影响重大的实验选择，但缺乏可推广的指导  
在社会科学研究中使用 LLM 需要做出许多设计选择，包括使用何种提示、模型以及解码/生成参数，以及如何从 LLM 的自然语言响应中提取离散答案。在我们语料库中报告的设计选择中（表 S3（https://arxiv.org/html/2607.07915#Sx1.SSx2）），我们观察到每个测量工具所采用的具体配置存在广泛差异，这说明了研究者使用 LLMs 时面临的广泛选择。这种高程度的研究者自由度给 LLM 的使用者带来了挑战，因为组件中的细微变化可能极大地且不可预测地影响工具的性能和效度（？，？）。然而，研究者对其组件选择的论证常常依赖于可能无法推广的直觉或示例，这反映了当前可用指导的缺乏。总体而言，我们的结果强调，使用 LLMs 的研究者面临许多影响重大的实验选择，但几乎缺乏设计有效基于 LLM 的测量工具的指导。  

在我们语料库的论文中，提示实践高度多样化，在长度、结构和内容上各不相同。例如，一些提示使用 Markdown 格式或空格来分隔提示的不同方面。虽然我们语料库中的大多数研究使用了零样本提示，但我们观察到一些少样本提示的实例。²²²零样本提示仅包含任务指令而不包含（即零个）标注示例，而少样本提示则包含少量输入-输出示例对来示范任务。许多提示包含试图约束模型输出的短语（例如，“用数字回答”或“不要提供解释”），一些提示为模型设定了角色（例如，“你是一个有用的助手”、“你是一位正在诊断病人的医学专家”）。大致上，我们发现三种主要的提示设计论证策略：研究者通过遵循人工标注指南、参考现有文献（例如，重复使用提示或策略），或通过实证测试一组提示（例如，消融研究或有限实验）来设计提示。每种方法都有显著局限性，这反映了缺乏可推广的指导。  

LLMs 表现出难以预测的敏感性（？），因此尚不清楚提示策略是否会推广到不同的任务或数据。同样，虽然消融研究可能帮助研究者从无限选项中选出提示，但此类研究仅能识别出在有限、任意选择的变体集中最佳的那个提示，这反映了研究者的直觉，而非确立任何普遍优越性。  

研究者面临的另一个方法论选择是如何从自由文本模型输出中提取定量答案（即数字或离散类别）。很少有论文报告如何实施这一步（4 篇论文，6 个任务）。在这些报告中，一些使用了字符串匹配和自动解析方法（2 篇论文，3 个任务）。我们还发现一篇论文/任务通过从潜在答案标记集合中找出最大标记概率来提取标签，另一篇则使用了人工编码员。方法的多样性以及报告的缺乏表明，虽然答案提取程序的选择可能对结果测量产生重要影响，但它常常被忽视或仅被视为技术实现细节。  

答案提取中一个可能影响重大但报告不足的方面是研究者如何处理模型拒绝产生答案的情况，这常被描述为不遵从（？）。例如，（？）描述了丢弃触发内容过滤器的数据。在另一个案例中，（？）反复重新采样模型直到其产生数值响应。通常不清楚不遵从响应表明了数据的什么信息，也不清楚丢弃它们将如何影响结果测量：一篇论文的分析表明，被拒绝的响应反映了数据中的不确定或缺失信号（？），另一篇则实证证明移除拒绝并未影响其整体结果（？）；然而，这些发现可能无法跨情境推广。如果触发过滤器或拒绝的内容在系统上不同于产生可得分响应的内容——例如，某些敏感主题更有可能被过滤——这些程序将给下游分析引入偏差。若不报告哪些数据被丢弃或替换以及原因，研究者就无法评估这些决策是否引入了系统性偏差。  

除了提示和答案提取程序外，我们还观察到模型选择和解码策略方面的广泛异质性和不一致报告。我们在补充文本（https://arxiv.org/html/2607.07915#Sx1.SSx2）中提供了关于设计选择和论证的更多细节。尽管研究者部分因为 LLMs 的易用性而接受它们，但我们的发现说明了其中涉及的众多实验决策，以及跨论文在工具设计上的显著变化，这些变化常常看似随意做出。虽然这些选择本身并不使这些工具所进行的测量失效，但它们指出了需要对这些选择进行适当记录和论证，并对结果测量进行验证。

### 2.4 验证  
对社会概念测量的可信使用依赖于这些测量有效性的证据。正如讨论所述，