语言模型作为文化测量装置

# 作为文化测量装置的语言模型
来源: https://arxiv.org/html/2607.02459

###### 摘要

语言模型越来越多地被用于量化文化现象，但这样的测量究竟 **为何** 是独特的 **文化** 测量？本文认为，NLP 中关于文化的工作是一种 **物质-话语实践**：测量装置——模型、数据、标注、评估——参与构成了它所测量的文化现实，而非被动地记录它。借鉴 Karen Barad 的 **能动性切割** 概念——即现象与测量工具之间偶然的边界——我表明，装置实质性的设计选择划定了这样的边界，并且该边界从一开始就是纠缠的，因为语言模型已经内化了它们所测量的大量文化材料。我通过三个关于电视和电影对话的案例研究（测量结构、互动和偏差），以及三个对装置本身的考察（文化标记的擦除、对历史材料的调适、以及代理工作流中的能动性）来阐述这一观点。这种宏观分析提出了一个理论驱动、经验严谨、且具有文化偶然性的研究计划，将每一次能动性切割视为一种自觉的承诺，既是方法论的，也是伦理的。¹¹¹ 被接受在 ACL 2026 联合举办的 Big Picture 研讨会上发表。本版本扩展了《The Big Picture v2: Crafting a Research Narrative》会议论文集（第 131-143 页，美国加利福尼亚州圣地亚哥）中的最终稿。计算语言学协会。

## 1 引言

越来越多的 NLP 研究涉及文化对象，通常是在文化分析的框架下：文学作品、社交媒体，以及其他其意义不可简化为信息内容的制品（Piper, 2016, 2017），并且构成了一种符号形式（Cassirer, 2014 [1923]）。例如，词嵌入追踪了文化概念的历史变迁（Garg 等, 2018; Hamilton 等, 2016），这已被证明对人文探究具有稳健性（Zhou 等, 2025a），其上下文化变体则描绘了社会意义的几何结构（Kozlowski 等, 2019; Lucy 等, 2022）。内涵框架测量了电影对话中隐含的权力和能动性（Sap 等, 2017; Antoniak 等, 2023）；计算社会语言学建模了对话中的风格协调（Danescu-Niculescu-Mizil 和 Lee, 2011）；大型语言模型（LLMs）也被用于探测文化知识（Chiu 等, 2025）。这些工作利用了 NLP 方法的可供性来解答文化问题，同时关注这些方法所实现的实证严谨性和阐释深度。

在更大的图景中，尚不完整的是对 **测量文化** ——而非测量情感、句法或事实准确性——意味着什么的明确阐释。近期工作已开始弥合这一差距：Zhou 等人（2025b）巧妙地借鉴社会文化语言学，论证了文化 NLP 需要一个扎根于索引性、立场性和涌现性的连贯文化理论。在此基础上，本文提供了一个宏观分析，以阐述用语言模型 **测量** 文化意味着什么，提出一个问题：当语言模型被用作文化测量工具时，会发生什么？

我认为，这项工作构成了一种 **物质-话语实践**（Barad, 2007; Brown 和 Duguid, 2000）：装置的物性配置（模型架构、训练数据）与研究者的话语框架（标注类别、评估标准、阐释承诺）在测量中相互纠缠，不可分割。为了使这一点具体化，我为文化分析发展了一个概念——**能动性切割**（Barad, 2007）：即装置在何为现象与何为工具之间施加的偶然边界。在使用计算方法研究文化时，每一个设计选择——模型架构、分类法、标注裁决——都划定了这样的边界，而这条边界本可以以不同的方式划定。与此同时，将语言模型应用于文化制品时，其独特之处在于，模型在预训练期间往往已经遇到了其所测量文化材料的片段（Chang 等, 2023b）或摘要：因此，工具与对象之间的边界从一开始就是必然纠缠的。随着 LLMs 越来越多地被用于社会和文化测量（Bamman 等, 2024; Halterman 和 Keith, 2025），这种纠缠提出了一个先于且不同于数据与文化现实之间表征鸿沟（Bode, 2020）的问题：虽然数据仍然是世界的部分建构，但 LLM（或任何测量工具）已经内化了它被要求测量的、恰恰是构成其自身材料的物质。

本文的案例研究将反复回到这种纠缠。我通过三个关于电影和电视中对话互动的案例研究来发展这一论点，对话互动是身份被建构和争夺的场所，在电影与媒体研究（Kozloff, 2000）、社会语言学（Richardson, 2010; Bednarek, 2023）和会话语用学（Lakoff 和 Tannen, 1984; He 和 Herman, 1998）中有着丰富的传统。每个案例研究代表了一种文化测量类型：**结构**（对话解缠）、**互动**（角色归属与性别）和 **偏差**（刻板印象关系抽取）。所产生的测量结果——对话能动性中的性别模式、角色归属的差异、颠覆的形式化——本质上是偶然的。

通过这些文化测量的例子，我转向测量工具与文化制品之间不可分割的关系：如果我们掩码掉——或者说，**擦除**——某些文化标记以扰动装置，会发生什么？当我们调整——或者说，**调适**——底层模型，使其不仅适应任务，也适应由语言中介的特定历史时期？如果我们把测量分布在一个自主模型（或称 **代理** ）的工作流上，每个代理都携带着自己关于其所测量文化的记忆？

## 2 文化测量

表1：三种文化测量模式，按装置实施的能动性切割类型组织。

### 2.1 操作化与测量

关于文化的计算工作的主导框架源于社会科学，其核心是 **操作化** ——将一个理论概念转化为可测量的变量。Moretti（2013）有影响地将这一概念引入数字人文学科，后续工作完善了对文化计算研究明确其方法论承诺的呼吁（Piper, 2017; Underwood, 2019）。近期的两个立场将这种关注扩展到人工智能：Wallach 等人（2025）认为，评估生成式 AI 系统根本上是一个测量挑战，其中诸如有用性或危害性等构念不能被视为自然标签，而必须被定义、工具化和验证。Kommers 等人（2025）将问题从指标选择重新框架化为表征格式，认为“薄”的数字描述剥离了赋予人类活动意义的文化语境，而 LLMs 或许能够扩展阐释性人文学科中发展出的“厚描述”（Geertz, 1973）。下面将要发展的意义上的文化测量，从第三个角度探讨了同一个问题。问题不仅仅是我们如何测量 AI 系统，也在于 AI 系统如何测量文化制品。剧本、小说、电影和电视场景不是对社会变量的原始观察；它们由体裁惯例、历史语境、观众接受和批评阐释所组织。计算方法可以在规模上使这些制品可测量，但只能通过使其以某种特定方式变得可读：作为台词、对话图、角色标签、关系类型，或是偏离学习到的规范。

图1：在关于文化的计算工作中，操作化“差异”这一概念的两种路径（Chang 和 DeDeo, 2020）：距离（一种空间隐喻，遵循包括对称性在内的度量公理）和散度（一种认知隐喻，捕捉距离无法看到的非对称关系）。两者之间的选择本身就是一种能动性切割，决定了哪些文化关系变得可测量。

正如 Piper（2017）在他的文学建模框架中所论证的，操作化本身就是一种简化——而正是在这种简化中，测量发生了。考虑一个简单的操作化例子——测量两个文本有多不同。余弦等距离度量提供了空间邻近性的论证，并继承了度量空间的对称性；Kullback–Leibler 等散度提供了关于编码成本和惊喜的非对称论证（图1; Chang 和 DeDeo, 2020）。两者将同一个词——差异——操作化为不同的文化事实。它们之间的选择决定了哪些文化关系会被变得可测量。

操作化是生产性的，但它承载着一种假设：被操作化的概念独立于测量程序而存在。近期文化分析的工作质疑了这一点：McNulty 和 Chapot（2025）在生成式 AI 的背景下重新思考计算与形式之间的关系，将模型本身——它们的架构和输出——视为既是文化-技术的“形式”，又需要新的分析模式。Dobson（2025）认为，架构不是一个中性的容器，而是一个实质性的阐释选择——一个意义被制造和历史性被记录的地点。这些观察表明，应当将整个配置——模型、数据、标注、评估——作为一个连贯的整体来处理：实际上，一个参与产生其对象的 **装置** ，而不是将数据、任务和算法视为线性研究叙事中可分离的组成部分。

### 2.2 纠缠与切割

线性研究叙事——任务、数据、模型、指标——通过将这些组成部分视为可分离的阶段，对许多 NLP 问题是有效的。但在文化测量中，这种分离从两侧都瓦解了。关于建模什么的决定——例如，如何表征一个虚构人物，什么算作一次互动，标注哪些类别，暴露多少上下文——不是测量的准备阶段，而是测量的构成部分；它们决定了哪些文化现实能够出现，哪些随后被排除。关键在于，工具本身就是文化形成的：一个 LLM 所知道的关于文化的东西，就是流通着的东西，而流通着的东西在被研究者使用模型进行测量之前很久，就已经由声望和文化产业结构化。问题不在于模型有这段文化历史——对于文化测量而言，某种历史通常是必要的——而在于这段历史是否被承认、测试和解释为装置的一部分。

这与 Bode（2020）所识别出的数据与文化现实之间的本体论鸿沟相关，但又有所不同。用机器学习的术语来说，关于建模什么的决定通常被视为任务设计，而工具的文化形成则被视为污染或记忆（Mallen 等, 2023），对模型的可靠性构成压力。这些术语是有用的，但过于狭窄：它们将装置及其对象视为可分离的，而在文化测量中，它们是不可分离的。

从 Barad（2007）对 Niels Bohr 的解读中，我采纳了 **能动性切割** 的概念：即装置在现象与工具之间施加的边界。我在这里的使用具有方法论意义上的限制——并非每个实现细节都是能动性切割。随机种子、批次大小、GPU 供应商选择、日志详细程度：这些在正常范围内通常不会改变测量中能出现何种文化现象。当一个设计选择确实改变了这一点时，它就成为一个切割：标签分类法、上下文窗口、模态、匿名化程序、训练数据，或是测量偏离所参照的规范。

下面的案例研究都实施了不同的切割（总结于表1）。对话解缠将连续的对话切割成一个有向的回复图（Chang 等, 2023a）。会话角色归属将视听场景切割为说话者、受话者和旁观者角色（Chang 等, 2026）。刻板印象关系抽取将训练出的期望切割为一个规范，据此表现可以发生偏离（Chang 等, 2024）。每次测量都是经验性的，但没有一次是独立于产生它的装置的。

如此框架后，文化分析寻求同时把握实证主义的工作（构建能够阐明文化的模型）和批判性的工作（坚持我们所帮助提出的每一个文化问题的偶然性）。

## 3 测量结构

第一种类型的文化测量涉及对多方对话施加一种形式化结构。这里的能动性切割是 **结构的**：任何会话交流都可以通过多种方式形式化——作为话轮序列、回复链接树、话题线程网络——每种形式化都在“结构”和被归为噪声的东西之间划定了不同的边界。会话分析长期以来研究话轮转换的系统学（Sacks 等, 1974）以及说话者和听者的协作工作（Goodwin, 1981）；在形式化之间进行选择是一种阐释承诺，决定了装置将被允许看到这些系统学中的哪些。