LLM辅助的科学话语立场检测：以贝叶斯认知科学为案例研究

# 大型语言模型辅助科学话语中的立场检测：贝叶斯认知科学中的一个测试案例
来源：https://arxiv.org/html/2606.15566

Eyup Engin Kucuk
新罕布什尔大学 心理学系

Tarik Kelestemur
独立研究者

Ömer Dağlar Tanrikulu
新罕布什尔大学 心理学系

###### 摘要

定性编码是社会科学的核心，但专家注释难以规模化。大型语言模型（LLM）提供了一种可能的扩展途径，然而当目标建构具有诠释性、理论负荷且仅间接表达时，需要仔细验证。我们以一个困难案例研究这个问题：检测作者是将贝叶斯模型视为心理和神经机制的描述（实在论），还是视为有用的数学工具（工具主义）。我们的方法结合了理论驱动的编码手册、专家编码的参考注释、诊断门控的提示优化搜索（产生三个前沿LLM（GPT-5.1、Claude Sonnet 4.6、Gemini 3 Pro Preview）共享的零样本提示），以及多评分者信度分析。最终提示在保留数据上达到了0.76的综合信度分数（ICC = 0.79与α=0.74的调和平均数），所有诊断指标均满足。部署到来自210篇文章的6,858条引文后，三个LLM在引文层面达到了实质性一致性（ICC = 0.80；α=0.76；综合=0.78），并在文章层面近乎完美的排名稳定性（r=0.96–0.97，所有评分者配对）。语料库主要以弱实在论为主，但文章层面的立场很少一致：仅1.4%的文章使用单一区间，而59.5%的文章跨越四个或更多区间。低层感知/运动文章比高层认知文章高出8.8个实在论分数点（p<.001，d=0.60），量化了长期持有的定性直觉。我们将其作为专家主导的案例研究呈现；该框架旨在推广到类似的理论密集型任务，而非所有定性分析。

111代码、数据和参考注释：https://github.com/EyupEK/autoresearch_bayes

# 大型语言模型辅助科学话语中的立场检测：贝叶斯认知科学中的一个测试案例

Eyup Engin Kucuk††感谢通信作者：[email protected]。新罕布什尔大学 心理学系

Tarik Kelestemur
独立研究者

Ömer Dağlar Tanrikulu
新罕布什尔大学 心理学系

## 1 引言

定性编码是社会科学的核心，但其诠释深度限制了规模。当目标不是表面主题，而是作者未明确命名的具有理论意义的立场、框架或承诺时，情况尤其如此。LLM为绕过这一限制提供了可能途径，近期工作已评估了它们作为政治文本、定性编码、内容分析和标量建构注释者的表现（Gilardi et al., 2023 (https://arxiv.org/html/2606.15566#bib.bib1)；Törnberg, 2024 (https://arxiv.org/html/2606.15566#bib.bib2)；Chew et al., 2023 (https://arxiv.org/html/2606.15566#bib.bib3)；Dunivin, 2024 (https://arxiv.org/html/2606.15566#bib.bib4), 2025 (https://arxiv.org/html/2606.15566#bib.bib5)；Licht et al., 2025 (https://arxiv.org/html/2606.15566#bib.bib6)；Than et al., 2025 (https://arxiv.org/html/2606.15566#bib.bib7)；Ziem et al., 2024 (https://arxiv.org/html/2606.15566#bib.bib8)）。核心问题是如何判断模型输出是否足够可靠以支持定性推断：表面一致性可能由浅层捷径产生，例如默认使用频繁类别或避免细粒度量尺使用，而当建构是理论性的且不通过任何单一短语表面实现时，问题更加尖锐。我们在贝叶斯认知科学中研究这个问题，其中作者常常提出与实在论-工具主义区分相关的论断，却不明确命名任何一方。有些段落将贝叶斯模型视为有用的预测工具；另一些则暗示贝叶斯计算对应于心理或神经机制。这些区分具有哲学深度（Jones and Love, 2011 (https://arxiv.org/html/2606.15566#bib.bib16)；Bowers and Davis, 2012 (https://arxiv.org/html/2606.15566#bib.bib17)；Griffiths et al., 2012 (https://arxiv.org/html/2606.15566#bib.bib18)），通常措辞谨慎，且依赖于领域。本文做出三项贡献。(1) 我们贡献了一种定性分析中的立场检测方法，采用自动化的、诊断感知的提示优化循环，生成可部署的注释提示。(2) 我们展示了如何将自动研究方法应用于社会科学研究，以优化三个异构前沿LLM共享的单一提示，将提示视为通用注释协议而非针对特定模型的调优。(3) 我们贡献了一种编码手册设计模式，通过贝叶斯认知科学中实在论与工具主义的工作编码手册实例，将理论复杂且间接表达的社会科学概念操作化。该框架的组件（理论驱动的编码手册架构、诊断感知的提示优化、共享提示的多评分者收敛）旨在可移植到类似的理论密集型定性编码任务中，尽管具体的编码手册和提示必须针对每个新建构进行调整；跨领域验证是未来的工作计划。

## 2 相关工作

#### LLM作为计算社会科学的注释者。
越来越多的文献评估前沿LLM作为社会科学任务文本注释者的表现。Gilardi et al. (2023 (https://arxiv.org/html/2606.15566#bib.bib1)) 报告称，GPT-3.5在五个英语政治和内容审核任务上匹配或超过众包工人的准确性；Törnberg (2024 (https://arxiv.org/html/2606.15566#bib.bib2)) 将其扩展到意识形态分类。Ziem et al. (2024 (https://arxiv.org/html/2606.15566#bib.bib8)) 提供了迄今最大规模的评估（13个LLM在25个CSS基准上），并得出结论：零样本LLM在分类上达到了与人类公平的一致性，尽管未能匹配微调模型。近期工作指出任务、提示、模型和重复运行之间存在显著变异性（Kristensen-McLachlan et al., 2025 (https://arxiv.org/html/2606.15566#bib.bib9)），Camuffo et al. (2026 (https://arxiv.org/html/2606.15566#bib.bib13)) 列举了LLM注释的五个不同变异来源（建构规范、接口效应、模型偏好、输出提取和系统层面聚合），并主张采用变异感知的协议而非临时部署。更接近我们的设置，Chew et al. (2023 (https://arxiv.org/html/2606.15566#bib.bib3))；Dunivin (2024 (https://arxiv.org/html/2606.15566#bib.bib4), 2025 (https://arxiv.org/html/2606.15566#bib.bib5))；Than et al. (2025 (https://arxiv.org/html/2606.15566#bib.bib7))；Gao et al. (2024 (https://arxiv.org/html/2606.15566#bib.bib10))；Meng et al. (2024 (https://arxiv.org/html/2606.15566#bib.bib11)) 研究了基于编码手册或理论驱动的LLM工作流程在定性编码中的应用；我们的任务——检测隐性的科学哲学立场——处于该文献的较难端（Simons et al., 2026 (https://arxiv.org/html/2606.15566#bib.bib12)），因为该建构不通过任何单一短语表面实现。

#### 信度与立场检测。
在评估方面，我们的信度分析建立在关于组内相关系数（Shrout and Fleiss, 1979 (https://arxiv.org/html/2606.15566#bib.bib23)）、用于有序注释的Krippendorff's α（Krippendorff, 2011 (https://arxiv.org/html/2606.15566#bib.bib24)）以及NLP中显著性检验（Koehn, 2004 (https://arxiv.org/html/2606.15566#bib.bib25)；Berg-Kirkpatrick et al., 2012 (https://arxiv.org/html/2606.15566#bib.bib26)；Dror et al., 2018 (https://arxiv.org/html/2606.15566#bib.bib27)）的长期文献基础上。近期工作已开始将信号与注释者分歧中的系统性噪声分离（Ivey et al., 2025 (https://arxiv.org/html/2606.15566#bib.bib14)）；我们通过跨分析粒度分解信度，贡献了一个互补视角。标准指标在项目层面总结一致性，但当下游分析操作在聚合层面（文档、作者、子领域）时，项目层面的一致性可能低估或高估实际重要的共识。我们通过评分者配对线性混合效应模型中每篇文章随机截距的跨评分者相关性，用文章层面排名稳定性补充引文层面的α。立场检测传统上关注对命名目标的表达立场（Burnham, 2025 (https://arxiv.org/html/2606.15566#bib.bib15)）；这里“目标”本身是作者很少命名的哲学立场。

#### 贝叶斯认知科学中的实在论与工具主义。
贝叶斯模型是否描述心智和大脑实际所做的事情，还是有用的数学理想化，这一争论在该领域已被明确讨论（Danks, 2008 (https://arxiv.org/html/2606.15566#bib.bib19)；Jones and Love, 2011 (https://arxiv.org/html/2606.15566#bib.bib16)；Bowers and Davis, 2012 (https://arxiv.org/html/2606.15566#bib.bib17)；Griffiths et al., 2012 (https://arxiv.org/html/2606.15566#bib.bib18)；Rescorla, 2023 (https://arxiv.org/html/2606.15566#bib.bib21), 2025 (https://arxiv.org/html/2606.15566#bib.bib22)）。两项近期立场直接塑造了我们的注释设计：Williams and Drayson (2023 (https://arxiv.org/html/2606.15566#bib.bib20)) 认为，当作机械模型与黑箱模型之间的强迫选择时，实在论-工具主义二分法具有误导性；Rescorla (2023 (https://arxiv.org/html/2606.15566#bib.bib21), 2025 (https://arxiv.org/html/2606.15566#bib.bib22)) 强调两者都是分级立场，因为研究者可能对框架的某些方面持实在论，而对其他方面持工具主义。我们的编码手册通过互补的连续量尺（约束和为100）配合有序区间，适应了这种分级观点；哲学文献使用手工挑选的引文，而我们则在语料库规模上操作化这一建构。

理论驱动的
编码手册
251条专家编码
引文（151 / 50 / 50）
自动研究
提示搜索
（提出 → 评分 → 门控）
最终共享
零样本提示
GPT-5.1, Claude,
Gemini 注释
6,858条引文
多层次
信度分析 +
语料库分析
拒绝时修订

图1：研究流程。紫色：专家定义输入。橙色：自动提示优化（详见图3 (https://arxiv.org/html/2606.15566#S4.F3)）。绿色：部署与多层次信度分析。

## 3 数据集与编码手册

### 3.1 编码手册

编码手册定义了互补的实在论与工具主义分数，约束和为100，每个分数使用七区间有序量尺。实在论区间涵盖：反实在论（0–10）、弱实在论（11–27）、实在论怀疑（28–44）、不可知（45–55）、倾向实在论（56–72）、中等实在论（73–89）、强实在论（90–100）；工具主义作为互补对应镜像这些范围。在每个指定区间内，评分者选择中点或中点±4或±8，以登记区间定义线索的强度。每个区间结合语义定义和语言标准标签（主题如模型/主体/机制、主张目标如功能/映射/机制、情态如中性/谨慎/强/好像、证据链接如无/推断/概念/直接），使得既能解释模型所选标签，又能根据每个区间允许的标签进行自动化验证。完整的实在量尺（包括每个轴每个区间的上限和下限规格）在附录A (https://arxiv.org/html/2606.15566#A1)（图5 (https://arxiv.org/html/2606.15566#A1.F5)）中复现；工具主义量尺镜像此结构。

### 3.2 参考注释

一位领域专家阅读了15篇贝叶斯认知科学文章，提取了251条*承载假设的引文*——这些段落对贝叶斯建模作为行为、功能、认知或神经能力的解释、描述或预测做出隐性或显性声明（表1 (https://arxiv.org/html/2606.15566#S3.T1)）。同一位专家使用编码手册注释了每条引文。251条引文被划分为固定的151 / 50 / 50的调优/开发/保留验证分割。我们称第一部分为调优集，因为没有模型参数更新；它仅用于评估候选提示。这些标签是专家编码的参考注释，而非多专家裁决的真实标签。

表1：示例承载假设的引文。每条引文对贝叶斯建模在认知解释中所起的作用做出隐性或显性声明，使其可以在实在论/工具主义量尺上编码。

### 3.3 部署语料库

部署语料库分三个阶段构建。
(i) 文章选择。我们在APA PsycInfo数据库中搜索与贝叶斯建模在认知科学中相关的关键词，收集了225篇候选文章，时间跨度1983–2025年。
(ii) 引文提取。对于每篇文章，三个前沿LLM（GPT-5.2（OpenAI, 2025b (https://arxiv.org/html/2606.15566#bib.bib36)）、Claude Opus 4.6（Anthropic, 2026a (https://arxiv.org/html/2606.15566#bib.bib32)）、Gemini 3 Pro Preview（Google DeepMind, 2025 (https://arxiv.org/html/2606.15566#bib.bib34)）。——仅用于语料库构建的较重级别变体）接收了251条专家提取的引文和15篇文章作为上下文示例，并被提示从文章全文提取承载假设的引文。相同的三个模型对每篇文章的主题相关性进行投票；获得0/3或1/3投票的文章被剔除，剩下210篇文章。
(iii) 保真度检查。提取的引文通过字符串匹配脚本与源PDF进行验证；检测为幻觉或释义的引文被剔除。对均匀的70条引文样本进行人工审计，发现零保真度错误。最终部署语料库包含来自210篇文章的6,858条经过验证的承载假设的引文。最终注释阶段（§4 (https://arxiv.org/html/2606.15566#S4)）使用同一三个提供商中的较轻级别变体（GPT-5.1（OpenAI, 2025a (https://arxiv.org/html/2606.15566#bib.bib35)）、Claude Sonnet 4.6（Anthropic, 2026c (https://arxiv.org/html/2606.15566#bib.bib31)）和Gemini 3 Pro Preview，与构建阶段相同），以便主要信度反映每个提供商中更便宜、更广泛可部署的模型；构建阶段选择较重变体是因为语料库构建是一次性过程，而非迭代优化循环。

## 4 方法

图1 (https://arxiv.org/html/2606.15566#S2.F1) 总结了研究流程：理论驱动的编码手册和专家编码的参考注释输入到自动研究提示优化循环（详见图3 (https://arxiv.org/html/2606.15566#S4.F3)），产生最终共享的零样本提示，该提示被部署到三个前沿LLM进行注释和多层次信度分析。

请参考图注

图2：跨三个评分者汇集的区间内分数偏移分布，限制在编码手册允许的位置 {−8,−4,0,+4,+8}。(a) 早期提示（综合==0.81）将99%的记录分配给区间中点。(b) 最终接受的提示使用了所有五个偏移位置，展示了真实的区间内量尺使用。

### 4.1 提示开发

提示开发采用了自动研究主体范式（Karpathy, 2026 (https://arxiv.org/html/2606.15566#bib.bib28)）：主体提出修改、运行实验，并仅接受成功的更改（图3 (https://arxiv.org/html/2606.15566#S4.F3)a）。虽然自动提示优化本身