LLM作为数据标注者的有效性：AMALIA关于权威的研究

# LLM作为数据标注者的有效性：AMALIA关于权威的研究  
来源：https://arxiv.org/html/2607.08731  

Manuel Pita  
人工智能、社会交互与复杂性实验室  
CICANT，卢索福纳大学  
[email protected]  
（2026年7月）  

###### 摘要  

国家语言模型为其所在的语言社区提供了一种测量公民言论与价值的工具。葡萄牙公共资助的AMALIA是一个拥有90亿参数的欧洲葡萄牙语模型，仅从一致性来看表现良好。在要求编码道德基础中的“权威”这一构念时——这是一个需要通过推理而非直接阅读文本来推断的构念——它与训练有素的人类编码者的一致性，与那些规模比自己大8到13倍的开源模型相比，差距在6个百分点以内。然而，对于LLM而言，可靠性（即一致性）与有效性（即忠实于构念理论）之间的区分变得至关重要。该工具是一个黑箱：我们只能看到编码结果，却看不到产生这些结果的推理路径，因此一致性无法区分真正的测量与模式匹配。将提示分解为编码表中的原子子句，使我们能够系统地探查这个黑箱；恢复差距衡量的是分解操作在多大程度上未能复现原始提示的性能。校准旨在缩小这一差距。如果校准能够缩小差距，那么其可移植性应能在模型和语言之间得以保留，因为目标理论构念并未改变；如果未能缩小差距，那么构念-模型工具很可能是失败的主要原因。我们测试了校准后的英语工具是否能迁移到较小的国家模型AMALIA-9B以及欧洲葡萄牙语。针对单一构念，我们发现证据表明它无法迁移。在最佳情况下，分解仅能恢复AMALIA整体表现的大约一半。对误码的分析表明，AMALIA在特定标注任务中常常依赖表面关联特征，例如权威人物周围的道德义愤。关键的是，一个开源的多语言LLM在相同的指令下，对相同的葡萄牙语语料库能够缩小差距，这表明语料库并非主要解释因素。其影响波及越来越多的国家正在优先推进的主权LLM项目。AMALIA仍然可以用于大规模筛选和预编码；但它目前还不足以独立测量理论构念——即使像“权威”这样明确指定的构念也难以胜任。本研究的证据仅基于单一构念和单一语料库，是一个单独的反例。它留下了这样一个问题：使用母语指令是否能缩小差距。尽管如此，它明确指出了主权项目在将模型用于测量之前必须解决的关键问题：不仅要确保模型与人类编码者一致，还要确定哪种证据路径能证明这种一致性是合理的。  

*关键词* 大语言模型 ⋅ 文本即数据 ⋅ LLM主权 ⋅ 构念效度 ⋅ 数据标注  

## 1 引言  

2026年7月1日，葡萄牙发布了AMALIA，一个拥有90亿参数的语言模型¹¹¹https://huggingface.co/amalia-llm/AMALIA-9B-0626-DPO，该模型由公共资金建设，旨在服务欧洲葡萄牙语[Simplício等，2026（https://arxiv.org/html/2607.08731#bib.bib4）]。这次发布加入了日益壮大的国家和主权模型家族。例如，泰国的Typhoon项目将主权LLM视为一个独立类别，即国家机构能够持有、检查并运行的模型，而不依赖于当前拥有这些系统的少数私营组织[Pipatanakul和Taveekitworachai，2026（https://arxiv.org/html/2607.08731#bib.bib19）]。其动机既是经验性的，也是社会政治性的。在经验层面，主流LLM主要针对英语使用进行训练[Rao等，2025（https://arxiv.org/html/2607.08731#bib.bib20）]。在社会政治层面，这些模型的运行仍然集中在少数私营组织中，这使得国家持有和审计这些系统的能力成为数字主权更广泛议程的一部分。这第二个维度也已进入制度层面。希腊已经在其议会语料库上训练了一个国家LLM，作为其数字主权方法的一部分[Fitsilis等，2026（https://arxiv.org/html/2607.08731#bib.bib24）]。这些新的本地LLM没有一个宣称总体上优于大规模商业模型。相反，它们的优势在于在本地相关任务上、在其所服务社区的语言中表现更佳。AMALIA发布时的性能证据遵循了家族模式。其最独特的葡萄牙语特定基准是由创建该模型的同一团队构建的，来自开放式任务结果，例如语言能力测试和对欧洲变体的忠实度测试，由另一个语言模型作为评委进行评分[Simplício等，2026（https://arxiv.org/html/2607.08731#bib.bib4）]。  

最重要的本地相关任务之一属于“文本即数据”领域。在社会科学和行为科学中，AMALIA可能成为标注文本中理论构念的关键资源。这种标注允许研究从社交媒体言论、学校小组讨论、访谈和开放式调查中研究集体现象，或者用于研究议会活动等。所谓理论构念，是指一种不能通过表面特征直接观察的分析范畴，因此它不对应于某个词、短语或主题，而是根据理论从文本中推断出的属性。例如，道德可以通过权威、伤害、关怀或忠诚等构念来表征。但在一段文本中识别权威的存在，与找到“权威”一词或其相关词汇并不相同。难点在于识别权威需要确定谁必须服从、谁拥有权威、以及这种关系是被肯定、质疑还是违反。该概念在第2节（https://arxiv.org/html/2607.08731#S2）中正式化。当前的关键点是，对于社会科学将使用这些模型的基本用途之一——构念标注——AMALIA发布时的记录尚未提供任何相关信息[Simplício等，2026（https://arxiv.org/html/2607.08731#bib.bib4）]。  

这种沉默并非AMALIA的局限。评估LLM作为构念标注者是复杂的，迄今为止主要集中于与人类标注者的一致性[例如，Abdurahman等，2024（https://arxiv.org/html/2607.08731#bib.bib15）；Rathje等，2024（https://arxiv.org/html/2607.08731#bib.bib6）；Gilardi等，2023（https://arxiv.org/html/2607.08731#bib.bib12）]，而非模型作为测量工具的有效性。这种做法继承了内容分析的规范，即标注质量由标注者之间的一致性决定[Krippendorff，2018（https://arxiv.org/html/2607.08731#bib.bib5）]。但在LLM作为编码者的情况下，一致性仅能告诉我们工具是可靠的，而非它是有效的。当编码者是LLM时，一个根本性问题在于：该工具是通过基础理论规定的推理来测量构念，还是通过其他与构念相关的路径达到了与人类编码者一致的编码结果？回答这个问题至关重要，因为LLM在许多标注任务上与人类标注者相匹配。这种一致性促使人们采用LLM作为更廉价、能够在规模上处理大量数据的工具。然而，当关联特征与构念本身发生偏离时，LLM会无形地失败，因为没有任何一致性指标能够区分真正的命中与严重的错误。因此，LLM可能因为错误的原因产生正确的编码，却没有测量构念理论所规定的内容。因此，LLM作为起点是一个缺乏理论依据的工具[Pita，2026（https://arxiv.org/html/2607.08731#bib.bib7）]。  

对于像AMALIA这样的国家模型而言，在其社区自己的语言上达到的一致性，往往会被解读为其议程和整个项目的成功。这种一致性是否真正测量了构念，还是仅仅通过表面关联特征复制了构念，需要一项操作性测试。本研究聚焦于道德基础理论中的一个构念——权威/颠覆，通过粒度校准方法进行标注[Pita，2026（https://arxiv.org/html/2607.08731#bib.bib7）]。本研究有两个目标。第一，评估AMALIA作为编码工具的能力。第二，呈现我们认为是首次针对国家模型中基于LLM的测量理论构念工具的有效性研究，也是在欧洲葡萄牙语中进行的首次此类研究。我们以欧洲葡萄牙语和AMALIA复制了一项最初用英语进行的研究，并比较了结果。分析由四个问题引导：  

1.  AMALIA能否按照理论定义的方式标注构念，还是通过替代路径（例如表面关联特征）得出正确的编码？  
2.  提示指令的语言（葡萄牙语或英语）应用于相同的葡萄牙语文本时，是否会改变AMALIA所测量的内容？  
3.  在相同的葡萄牙语语料库上，AMALIA与常被拿来对比的大型多语言模型相比表现如何，每个模型相对于其在英语语料库上的性能损失了多少？  
4.  用一种语言进行的粒度校准能否迁移到另一种语言？  

本研究在进行任何确认性标注之前已预注册。²²²Zenodo: 10.5281/zenodo.21178967 假设、端点、解释区间和误差分析标准，以及在一个包含300篇文本的平衡子语料库上进行的预研究，均事先确定。所有确认性测试均在剩余的448篇任何模型均未见过的文本上进行。  

第2节（https://arxiv.org/html/2607.08731#S2）的目的是介绍相关理论、粒度校准方法、所研究的构念以及本文的核心度量——恢复差距。然后第3节（https://arxiv.org/html/2607.08731#S3）描述方法，包括将原始英语研究中的748篇已标注文本转化为欧洲葡萄牙语的跨创作过程，并经过多重验证环节。结果在第4节（https://arxiv.org/html/2607.08731#S4）中呈现，报告了AMALIA与两个开源权重LLM之间的比较发现。最后，第5节（https://arxiv.org/html/2607.08731#S5）为国家模型项目总结启示，并回到了国家获得该模型时所面临的问题。  

## 2 背景  

考虑一段文本，其中提到一位总统同时伴有关于另一件事的道德义愤。它包含了权威/颠覆的全部词汇（秩序、义务、反叛），然而该文本是否体现了该构念，取决于对等级制度的评价立场，而单凭词汇无法确定这一点[Pita，2026（https://arxiv.org/html/2607.08731#bib.bib7）]。一个依赖于这种词汇的模型会将每段这样的文本编码为权威，并且只要权威人物确实在被评价，它就会与人类编码者一致。代价已有记录。对于某些构念，零样本提示[Brown等，2020（https://arxiv.org/html/2607.08731#bib.bib3）]相对于训练有素的编码者，误报率大约增加了十倍[Abdurahman等，2024（https://arxiv.org/html/2607.08731#bib.bib15）；Pita，2026（https://arxiv.org/html/2607.08731#bib.bib7）]。如果工具在正确性上是可靠的，那么原因是否仍然重要？是的，因为一致性无法定位失败。当模型的编码与人类编码出现分歧时，误差无法被充分细粒度地定位，从而无法将工具调整到测量构念而非其关联特征。  

粒度校准方法正是为了消除这种工具的不透明性而引入的[Pita，2026（https://arxiv.org/html/2607.08731#bib.bib7）]，包括五个步骤：  

1.  使用由编码表设计的未分解提示计算工具的性能。  
2.  将未分解提示分解为构念理论所定义的单位（组件及组件内的子句），在LLM能够从可观察的表面特征（而非我们无法追踪的表面关联特征）可靠回答的粒度上进行分解。  
3.  通过一个明确的整合规则（源自理论）将标注的单位合并为编码。  
4.  量化分解在多大程度上恢复了未分解提示的性能。  
5.  至此，可以进入一个循环，通过调整子句对提示进行校准，并将这些调整传播到未分解提示，以减少两者之间的性能差异，从而整体改进工具。  

以这种方式验证过的工具满足构念效度的实质性方面。也就是说，它提供了经验证据，表明该工具按照理论定义测量构念，而不是通过一个替代的关联特征来测量[Messick，1995（https://arxiv.org/html/2607.08731#bib.bib11）]。恢复差距仅关注这个方面：它不建立标准效度或预测效度，也不考虑跨人群和语域的泛化，也不考虑构念本身在葡萄牙语中的有效性。  

为了使分解具体化，考虑大多数理论构念指定了（a）检测组件，通过文本中的可观察特征确定构念的领域是否被涉及；以及（b）区分组件，用于将构念与共享可观察特征的邻近概念区分开来。一些构念还包含其他组件，例如评价组件，要求文本对检测到的内容进行评价。组件进一步分解为子句：关于单个可观察特征或它们之间二元关系的原子式是/否问题，切割到LLM的分布能力能够可靠回答的程度[Pita，2026（https://arxiv.org/html/2607.08731#bib.bib7）]。  

分解构念的想法是测量理论的基础之一。一个构念由关于可观察特征及它们之间预期关系的“定网网络”（nomological network）来定义，这允许对底层理论进行检验[Cronbach和Meehl，1955（https://arxiv.org/html/2607.08731#bib.bib16）]。本研究所关注的构念是权威/颠覆，它与权力和服从的道德秩序紧密相关[Graham等，2013（https://arxiv.org/html/2607.08731#bib.bib10）]。这个道德基础涵盖了合法权威和高地位个体，从领导人和政府到警察、法院、雇主、父母、长辈以及宗教和集体权威；它还涵盖了领导力、服从、责任和尊重传统的美德，以及混乱、藐视权威和对等级制度的不满等恶习。  

道德基础Reddit语料库（MFRC）的编码表[Trager等，2022（https://arxiv.org/html/2607.08731#bib.bib8）]遵循修订后的六基础分类法[Atari等，2023（https://arxiv.org/html/2607.08731#bib.bib9）]。如果编码者验证文本满足以下任意一条，则该文本被标注为权威正例：  
1.  对服从、遵从或秩序采取立场，无论是赞成（诉诸服从、责任或秩序）还是反对（诉诸违抗、抵抗或推翻）；  
2.  评价一个权威、机构或权力候选人作为权力角色，涉及其行为、资格或持有权力的合法性，这种判断对普通人来说毫无意义；  
3.  或对服从、等级、传统或秩序作为价值观（辩护或拒绝）采取立场。  
不表达权威的示例包括：仅识别拥有权力的实体而未采取立场的文本，发出一般性反应但没有明确基于权威或秩序的文本，或仅不同意权威的政策或决定而未体现权威构念的文本。