正确编码却出于错误原因？验证大语言模型作为理论构念的测量工具

# 正确代码下的错误原因？验证LLM作为理论构念的测量工具 来源：https://arxiv.org/html/2606.28574 Manuel Pita 人工智能、社会互动与复杂性实验室 CICANT，卢索福纳大学 376, Campo Grande, 1700\-097 里斯本，葡萄牙 manuel\.pita@ulusofona\.pt ###### 摘要 当大型语言模型（LLM）像人类编码员一样对文本中的某个构念进行编码时，这种一致性使LLM成为可靠的编码器。但可靠性并未触及构念效度。测量工具可能对理论一无所知，通过一个不满足构念理论要求的关联特征来得出代码，而当前没有任何方法能将其与真正的测量区分开来。我们提出粒度校准（grain calibration）作为弥补这一差距的方法。它将构念分解为子句级组件，通过提取性证据逐一测试文本，并通过明确、基于理论的规则组合结果。由于规则是明确陈述的，而非隐藏在一次不透明的运算中，其结构是关于过程而非输出的证据。它展示了哪些组件决定了代码，以及当代码错误时，是遗漏了某个组件还是将邻近构念误认为该组件。验证从将仪器输出与编码员评分对比，转向证明仪器按照其理论所指定的构念运行。 *关键词*构念效度⋅粒度校准⋅大型语言模型⋅测量理论⋅文本编码⋅理论无知的测量工具

## 1 LLM作为编码工具

一种将文本转化为数据、广泛应用于社会科学与行为科学的工具正在悄然易手。测量文本中的构念——影评中的道德、群聊回复中的立场或访谈中的抱负——传统上意味着训练人类编码员进行该构念所需的推理。如今，许多人转而使用大型语言模型（LLM）。它们通常与人类编码员达成一致，甚至接近专家编码员之间的高度一致。但在LLM作为编码工具的新兴图景中，存在一个重要的悖论：它们可能在没有实际“测量”构念的理论要求的情况下与人类达成一致。本文探讨了当LLM用作编码工具时，一致性如何替代了效度，并提出了粒度校准，这是一种迭代程序，用于调整工具，直到其编码满足构念理论的要求。

关于LLM是否能够“推理”存在争议。最近的一篇综述认为，判断它们是否拥有结构化内部表征为时过早[49 (https://arxiv.org/html/2606.28574#bib.bib101)]，而关于能力评估的研究警告不要仅从任务表现推断此类能力[46 (https://arxiv.org/html/2606.28574#bib.bib113)]。我们刻意对此保持中立。接下来的问题不是LLM内部是什么，而是它作为编码工具做了什么。如果我们想知道LLM在做什么，一种方法是像研究任何内部机制封闭的工具那样研究它。这通常意味着设计特定输入，提供给编码工具，并分析其返回的结果。

但为什么要研究一个能正常工作的工具？LLM作为可靠编码器的成功记录至今已相当可观。给定推文和两句提示，GPT在多次编码运行中的自我一致性高于训练有素的编码员彼此之间的一致性，并比众包工人高出25%[30 (https://arxiv.org/html/2606.28574#bib.bib12)]。在要求对政治隶属关系进行分类时，GPT-4达到93%的准确率，并胜过专家编码员，能够捕捉到监督分类器忽略的间接线索——从被视为保守信号的圣经引用，到被视为支持生命权、共和党立场的唐氏综合症意识宣传[52 (https://arxiv.org/html/2606.28574#bib.bib13)]。在标准编码任务中，如立场和仇恨言论分类，零样本LLM与人类编码员达到中等至较高的一致性[58 (https://arxiv.org/html/2606.28574#bib.bib15)]。类似地，在解释性定性编码中，一个能力足够的LLM可以达到人类水平的可靠性，思维链提示进一步优化了任务[23 (https://arxiv.org/html/2606.28574#bib.bib41)]。对于情感极性，GPT表现出竞争力，与人类编码员的相关性高达r=0.77，而对于离散情绪的编码，其F1得分在0.72至0.78左右[50 (https://arxiv.org/html/2606.28574#bib.bib14)]。从该领域实际应用的测试（与训练有素的人类编码员的一致性）来看，LLM工具是**有效的**。

关于（封闭的）LLM编码工具的工作机制，我们能了解到什么？首先，上述研究表明，LLM依赖于输入文本中存在的变量——与主题分布匹配的词模式、情感效价/唤醒聚类、语言线索，甚至通过传递性词模式关联获得的间接线索。我们将这种变量称为**表面特征**[18 (https://arxiv.org/html/2606.28574#bib.bib2)]，LLM文献也称之为“形式”[11 (https://arxiv.org/html/2606.28574#bib.bib64)]。表面特征并非必须从特征间关系推断的“深层”属性[29 (https://arxiv.org/html/2606.28574#bib.bib3)]。其次，提示和输入文本作为单个词序列一起进入模型，因此输入文本被编码表达的内容与执行编码的工具耦合在一起。第三，LLM能测量的内容在很大程度上受限于它在编码任务之前学到的表征和关联；提示可以引导这种能力，但其本身并不能建立该构念的理论关系正在被检验[45 (https://arxiv.org/html/2606.28574#bib.bib32)]。这些都是对LLM作为理论构念编码器提出的挑战——这些构念是具有深层结构、无法直接观察而必须推断的假定[5 (https://arxiv.org/html/2606.28574#bib.bib4),40 (https://arxiv.org/html/2606.28574#bib.bib5)]。

### 1.1 工具在何处失效

上述成功掩盖了工具如何得出代码的两个问题，而这两个问题都不会在一致性分数中显现。第一个是**捷径**：LLM可以通过读取仅与构念相关的表面特征（而非定义构念的更深层推理）来产生代码。这样的代码可以与人类真实情况一致，同时测量的是别的东西。第二个是**纠缠**：提示是工具的一部分，而不是定义其测量能力的无编码书指令。一个后果是，提示的措辞改变会改变测量，有时甚至走向反面。

先从捷径说起。LLM编码器可以在没有编码书的情况下匹配人类表现，通过抓住一个表面特征，这在普通语言任务中已直接显示[28 (https://arxiv.org/html/2606.28574#bib.bib110)]。Min及其同事将提示中示例代码替换为随机代码，在十二种模型配置下，性能最多下降5%。这些例子并没有安装编码书，而是触发了LLM已有的关联[45 (https://arxiv.org/html/2606.28574#bib.bib32)]。另一项研究中，McCoy及其同事训练了一组模型（包括语言模型BERT）来判断一个句子是否蕴含另一个句子，然后构建了一组测试案例，其中常用的启发式（当句子共享大部分词语时预测蕴含）被故意设为错误。模型仍然遵循启发式，性能降至10%以下，远低于随机猜测的50%，而专家注释者得分为97%[43 (https://arxiv.org/html/2606.28574#bib.bib109)]。这两项研究都基于简单的NLP任务，因此它们确立了机制，而不是测量更难的构念编码案例。但这个机制是通用的；编码器可以在不根据编码书推理的情况下匹配代码，一致性并不能揭示LLM是如何得出输出代码的。

同样的捷径也出现在理论构念的编码中，其成本可能是制造出一个虚假发现。Ashwin及其同事让四个LLM对2407份罗兴亚难民及其孟加拉国东道主的开放式访谈进行编码，对照的是训练有素的社会学家构建的十九个代码方案[3 (https://arxiv.org/html/2606.28574#bib.bib62)]。表现最好的LLM达到平均F1=0.41，其错误并非随机。相反，在十九个代码中，有十个代码的错误与受访者的特征相符。对于低教育抱负这一项，难民比东道主的错误负面程度高出48%，而对儿子父母比对女儿父母的错误正面程度高出49%，足以翻转关系符号，并仅凭错误就报告出一个在访谈中根本不存在的模式。一个在相同代码上训练的有监督模型在十九个代码中仅在一个代码上显示出偏差错误，并恢复了真实关系。这排除了任务难度作为原因的可能。该工具并没有读取难民身份或子女性别，而是读取了与之共变的表面特征。

其诊断价值有限，因为Ashwin及其同事确立了错误的结构，却没有识别其机制。他们假设所研究的人群在LLM的训练数据中代表性不足。一致性可能源于不同编码员犯了相同的错误。Matz及其同事让ChatGPT和人类评分者对速配转录文本进行浪漫吸引力评分，并且结局（约会者是否交换了联系方式）是独立已知的[42 (https://arxiv.org/html/2606.28574#bib.bib107)]。LLM和人类编码员之间有一定程度的一致性（r=0.21至r=0.35），肯定比两者与实际结局的一致性（约r=0.12）更接近。他们都把相同的错误表面特征解读为信号，将否定视为拒绝，而在这些转录文本中，否定反而微弱地预测了吸引力。一种共享的民间理论，而非对吸引力的解读，产生了一致性（在单次研究中，并且是针对预测而非编码）。这些案例传达的教训是：对于LLM编码工具，一致性是可靠性，而不是效度，因为它无法区分对目标构念的解读与模仿它的捷径。

第二个问题是提示——在所有其他变量固定的情况下，重写提示可以逆转测量结果。当对每个道德基础分别提出一个是/否问题[32 (https://arxiv.org/html/2606.28574#bib.bib99),4 (https://arxiv.org/html/2606.28574#bib.bib11)]时，GPT-4恢复出人类编码员标记为权威的评论中大约每百条有十五条（召回率R=0.15；GPT-4 Turbo约五条）——该工具严重不足编码[50 (https://arxiv.org/html/2606.28574#bib.bib14)]。当一次性展示所有基础并询问哪些适用时，同一个LLM对权威的编码数量远超实际表达该构念的评论（精确率P=0.13至0.19），从而逆转至过度编码[15 (https://arxiv.org/html/2606.28574#bib.bib70)]。在同一固定语料库上，不同的提示变化产生了同样的逆转。添加示例使权威的编码率从比人类多96%变为少38%[1 (https://arxiv.org/html/2606.28574#bib.bib54)]。权威是可以编码的。最佳人类注释者与其他编码员之间的一致性为F1=0.67，而最佳LLM达到F1=0.25[15 (https://arxiv.org/html/2606.28574#bib.bib70)]。一个随着编码书措辞变化而逆转错误方向的工具，并不是在测量目标构念。这种逆转不太可能是随机噪声或任务难度造成的。同样的提示变化使权威方向翻转，却使LLM编码最好的基础“关爱”在三项研究中保持稳定，最佳人类注释者对关爱达到F1=0.87[15 (https://arxiv.org/html/2606.28574#bib.bib70)]。

于是两点成立：第一，该工具可能通过一致性无法追踪的捷径得出输出代码；第二，运行的提示与它所测量的内容耦合到一定程度，重写提示会改变工具在输入文本中测量的内容。那么，LLM正确编码与错误编码之间的区别是什么？

### 1.2 洞穴中的机器人

编码一个构念就是将输入文本与该构念的理论要求进行检验。两段文本可能共享一个构念的原型词汇，却表达完全不同的构念。区分这些构念靠的是推断，而不是仅凭表面特征确定。考虑以下关于一个男孩和他的机器人B9进入洞穴并阅读刻在墙上的铭文的思想实验（框1.2）。

框1. 洞穴中的机器人

“危险！”B9说。机器人和男孩发现了刻在洞穴墙上的铭文：
*三人走了深路。石头在他们身后合拢，水在那里说话。他们最后一息仍存。跟随他们的名字到源头。*
B9得出结论，铭文是一个致命的警告。它识别了相关的表面特征：跟随、深路、石头合拢、水说话、最后一息。男孩不为所动。他学过比较仪式文本中的区别。警告将读者与死者割裂：回头，不要跟随，不要重蹈他们的命运。献祭则延伸联系：承载他们的名字，继续他们的道路，让他们永存。相同的死亡词汇服务于两者。

男孩测试了几行似乎决定性的内容。每一行都可以有两种解读。“他们最后一息仍存”可以意味着致命的空气尚未散去，或者他们的精神在生者中永存。“跟随他们的名字到源头”可以引导读者走向死于水中之人的身后，或者走向他们的灵魂之源。甚至连“跟随”这个词（B9将其归入危险之中）本身也无法确定。决定解读的是贯穿整个铭文的关系。铭文中没有任何地方让读者回头或与死者断绝联系，而这是警告所需要的行动。相反，它让死者保持在场，并引导读者继续前行。铭文不是警告，而是献祭。

铭文中的词汇、表面特征及其之间的关联描绘了一幅连贯的画面。B9并未对铭文感到困惑，但它还是失败了。它把需要理论区分的分类任务当作了表面特征可以解决的任务。解读这样的铭文需要任务分解，以区分哪些是表面特征单独能确定的，哪些需要理论推理。B9应该首先问，这段文本是否包含与死亡相关的语言——这是一个表面线索匹配问题。然后单独问，这段文本如何将读者定位在死者面前——这是一个理论指定的解释问题。重新校准后的B9将两者分开，回答第一个问题，并将第二个标记为未解决，而不是默认一个自信的代码。

这个原则不仅仅适用于洞穴。对于某些构念，表面特征构成了可靠的证据，足以确定代码；而对于其他构念，正确的代码需要推理，词汇只能作为证据指向它。这个思想实验留下了一个开放的经验问题：**文本编码领域中，落在这一分界线两侧的比例各有多少？**

### 1.3 理论结构的梯度

考虑LLM的立场编码——将推文分类为支持、反对或中立。一条写着“这项政策是鲁莽的，将伤害工薪家庭”的推文包含针对目标的负面词汇：“鲁莽”、“伤害”。因此反对立