语义基元作为大型语言模型中情感的解释项

# 语义基元作为大型语言模型中情绪的解释项
来源：https://arxiv.org/html/2607.18691
###### 摘要

在理解大型语言模型（LLM）的情绪机制方面已取得进展。然而，如何解释LLM中的情绪，甚至什么才算好的解释，尚不明确。情绪表征、组件、电路虽可广泛恢复，但作为模型自身计算过程的解释，它们是循环的；情绪空间维度往往任意且无终结。一个紧迫的问题是，是否存在一组更原始的内部变量能胜任此项工作：即自然语义元语言（NSM）的语义基元。在四个指令微调LLM（Llama-1B、Gemma-2B、Gemma-9B、OLMo-7B）上的实验表明，NSM基元是：（1）可恢复的内部元素；（2）在参考模型上，基于基元的方向干预对情绪的控制强度约为最佳评价方向的三倍，选择性约为两倍；（3）模型将基于基元的阐释视为与相应情绪可互换。这些证据表明，根据科学解释标准，NSM基元似乎比许多替代选项更适合作为LLM中情绪的解释项。

代码与数据——http://github.com/fxing79/pcs

参照图注 图 1：什么构成了LLM计算和输出的情绪的良好因果解释？从科学解释文献中提炼出三项测试：（1）真实：内部存在；（2）因果：干预该元素可改变情绪；（3）忠实：模型行为如同该元素就是情绪本身。所有三个候选者均通过测试，但程度不同。它们之间最大的区别在于第四个垂直的*基本性*轴：解释项必须比待解释项更基本。情绪标签是循环的，评价是部分还原；只有NSM基元在定义层面上触及底层。

## 1 引言

与人类情绪具有现象性和具身性不同，LLM中的情绪是功能性的和计算性的。这一差异要求我们建立一套完整的理论，来解释情绪如何在LLM中产生和运作，因为LLM正越来越多地被使用和融入我们的社会。在理解情绪空间（Wuet al. 2026 (https://arxiv.org/html/2607.18691#bib.bib19)）和情绪表征（Sofroniewet al. 2026 (https://arxiv.org/html/2607.18691#bib.bib17)）在LLM中可恢复方面已取得进展，并且LLM的情绪行为可以通过层注入（Taket al. 2025 (https://arxiv.org/html/2607.18691#bib.bib1)）或电路（Wanget al. 2025 (https://arxiv.org/html/2607.18691#bib.bib16)）进行控制和操纵。但在理解与（科学）解释之间存在显著差距。例如，我理解“魔术师从帽子里变出兔子”是一种舞台效果，并非真实，但我无法解释他是如何做到的。人们也毫不费力地理解苹果成熟后会掉落，而无需用植物激素或重力来解释。从这个意义上说，从可解释性机制文献（Bereska and Gavves2024 (https://arxiv.org/html/2607.18691#bib.bib29); Sharkeyet al. 2025 (https://arxiv.org/html/2607.18691#bib.bib18)）中，很少有对LLM情绪解释进行有目的的研究。因为使用情绪产物（表征、稀疏自编码器提取、电路等）来自我解释是非语义且循环的，必须引入其他内部变量。两个概念家族通常从人类情绪心理学中引入（Taket al. 2025 (https://arxiv.org/html/2607.18691#bib.bib1)）。第一类变量是“更基本的”离散情绪状态或类别，从残差流激活中解码为线性方向（Tiggeset al. 2024 (https://arxiv.org/html/2607.18691#bib.bib3)），例如Ekman的六种基本情绪或Russell的环状模型；第二类是连续评级，例如效价-唤醒维度（Wuet al. 2026 (https://arxiv.org/html/2607.18691#bib.bib19)）或Scherer的21个评价维度，Taket al. (2025 (https://arxiv.org/html/2607.18691#bib.bib1)) 使用这些维度来探测和引导LLM情绪行为。

随之而来有两个问题。首先，判断完备性和评估竞争性解释很复杂。一组变量可能通过探测更线性可恢复，但仅此事实并不能确立更好的解释：探测精度是相关的，不一定反映因果使用（Belinkov2022 (https://arxiv.org/html/2607.18691#bib.bib32)）。可解释性机制领域通过添加干预（Viget al. 2020 (https://arxiv.org/html/2607.18691#bib.bib34); Elazaret al. 2021 (https://arxiv.org/html/2607.18691#bib.bib33)）来回应，并且对该词的狭义技术解读而言，一个解释只有在做出因果断言时才是*机制性的*（Saphra and Wiegreffe2024 (https://arxiv.org/html/2607.18691#bib.bib31)）。但当另一组变量能更好地引导LLM情绪行为时，在这两组之间权衡就变得复杂。其次，这两类变量集都没有触及解释的底层。将某个激活分类为*内疚*，就是将标注者的标签重新应用于该标签本应解释的激活：解释项就是待解释项。评价空间维度将内疚描述为*自我责任*+*不愉快*组合上的一个剖面，但这些维度并不比它们所描述的情绪更原始；*不愉快*是与*内疚*同一阶的情感概念。这种还原是漂浮的，从未终止。

针对这两个问题，我尝试建立一组测试来过滤伪解释并评估候选解释项，并从已有60年历史的语言学项目中引入第三类变量，即Wierzbicka和Goddard的自然语义元语言（NSM）（Wierzbicka1972 (https://arxiv.org/html/2607.18691#bib.bib10),1996 (https://arxiv.org/html/2607.18691#bib.bib7); Goddard and Wierzbicka2002 (https://arxiv.org/html/2607.18691#bib.bib11),2014 (https://arxiv.org/html/2607.18691#bib.bib9)）。NSM识别出约∼\sim65个*语义基元*（want,feel,think,know,do,good,bad,not,because,i,someone,...\ldots），被认为是相互不可定义且与语言的其余部分共享，因此每个其他概念，包括情绪，都可以被*阐释*为仅由基元构建的释义。例如，*内疚*的标准阐释大致是“我做了坏事；我因此感到难过；我不希望这事发生”，它触及基元（i,do,bad,feel,want,not），而这些基元本身不是情绪。这个内疚的阐释将作为贯穿全文的示例。值得注意的是，确认NSM在人类语言或LLM案例中的正确性不在本文的范围内。相反，我的主张是一个工程性的主张：根据这里设定的标准，NSM基元似乎是更好的解释项。

三类变量根据因果解释的标准进行评判，基于干预主义观点（Woodward2003 (https://arxiv.org/html/2607.18691#bib.bib30)）：当干预一个特征会改变结果时，该特征对结果具有解释相关性。三个要求详述如下（图1 (https://arxiv.org/html/2607.18691#S0.F1)），它们源于这个解释观点，而非任何NSM的教条。

- •**存在性**。该特征是真实的内部元素，是真正的线性表征而非探测赝品。这通过解码超过长度和对照任务基线来严格测试。
- •**干预**。干预该特征会改变模型计算的情绪，并且该特征作为解释项越好，改变程度越大。这通过引导测试来检验。
- •**行为等价性**。在输入-输出层面，模型将该特征视为概念：在NSM案例中，基元阐释与情绪词可互换，并且是足够的线索。这通过模型自身的推理和生成来测试。

这三个要求是必要的：不存在的特征可以是机制的一部分，但超出了解释的范围；因果上闲置的特征可以是混杂因素，但不解释；因果上活跃但含义不同的特征不是该概念（Sharkeyet al. 2025 (https://arxiv.org/html/2607.18691#bib.bib18)）。然而，它们并非共同构成证明：基元的词汇相关物原则上可能通过所有三个测试，因此构念效度仍然是一个悬而未决的问题（见第10节 (https://arxiv.org/html/2607.18691#S10)），并且所展示的内部机制只是一个侧重于原始成分的草图，而非无间隙的说明。

#### 贡献。

本研究研究了四个指令微调模型中的基元，这些模型跨越了两个数量级和三个模型系列（Llama-3.2-1B, Gemma-2-2B, Gemma-2-9B, OLMo-2-7B），以确保结果的普遍性。实验基于Taket al. (2025 (https://arxiv.org/html/2607.18691#bib.bib1)) 的公共数据集，因此情绪比较是直接对等的。

结果是一个单一的主张：与文献中使用的其他解释项相比，NSM基元是LLM中情绪更好的解释项。该主张由三个发现支持：（1）基元是真实的内部元素：在所有四个模型中，32个描述情绪的基元中有30个的线性编码超过长度和对照任务基线；（2）在参考模型上，基元方向控制情绪的距离约为最佳评价方向的三倍，选择性近乎两倍，击败了维度匹配的复合方向（\(p<10^{-3}\)）和随机控制；（3）在所有四个模型中，模型将基元阐释视为与情绪可互换并且是足够的线索，并且比匹配的评价描述更有效。为便于复现，发布了一个包含32个基元的11,902最小对比对语料库，附带对照项和标准阐释。分析在单CPU上运行，提取在单GPU上数分钟内完成，因此研究成本低廉，易于复现。

## 2 背景

### 2.1 从解释项到其情绪读出

可解释性机制寻求对计算过程的因果（而非仅仅是预测性的）说明：解释“模型报告情绪\(e\)”就是要展示产生它的内部因素。引言中讨论的两个要求通过每个候选解释通过因果测试的程度以及每个解释的还原程度，对情绪候选解释进行排序。在情绪标签的情况下，某个合并层上的残差激活\(h\in\mathbb{R}^d\)接受一个线性分类器，分为\(K\)个可能的情绪标签；每个情绪是一个读出方向\(w_e\)，情绪空间是平坦的，因此*内疚*是一个原子，该说明并未还原：解释项就是待解释项。在评价情况下，同一个\(h\)接受21个线性回归到评价量表；*内疚*成为一个剖面（2个维度激活）。NSM基元是约∼\sim65个方向\(v_p\)，一个情绪成为一个*阐释*，即一个简短的、结构化的基元谓词释义，位于与语言其余部分共享的底层之上：*内疚*≈\approx“我做了坏事；我因此感到难过。”组合预测定义为：

\[
w_e \approx f\!\Big(\{v_p : p \in P(e)\}\Big), \tag{1}
\]

其中 \(P(e)\) 是\(e\)的阐释的基元支持集，\(f\)是读出映射。最强解读将\(f\)视为线性的，但经验结果拒绝了这一点；行为解读认为\(f\)是模型计算的任何东西，并且从概念上讲是NSM的语法，经验结果证实了这一点。显然，阐释是结构化的，而非基元的集合，因此基元方向的有符号和是有损的。相比之下，维度评价是可加的，情绪是独立维度上的一个剖面（Smith and Ellsworth1985 (https://arxiv.org/html/2607.18691#bib.bib35)）；Scherer过程模型（Scherer2009 (https://arxiv.org/html/2607.18691#bib.bib36)）的非线性是时间上的，而非在此静态映射中。因此，这些说明在还原深度和\(f\)的形式上有所不同：在这种解读下，基元组合是语法性的，评价组合是维度性的，引导实验将对此进行检验。

### 2.2 LLM中的基元与情绪

LLM呈现和处理语义基元似乎不言而喻，尽管文献中缺乏证明，尤其是在处理情绪时是否使用这些基元。最近的一项研究确认了来自LLM输出的基元相关模式槽（Xing and Cambria2026 (https://arxiv.org/html/2607.18691#bib.bib15)）。在中间层，情绪从残差流中作为线性结构读出（Taket al. 2025 (https://arxiv.org/html/2607.18691#bib.bib1)）或使用稀疏自编码器提取（Wuet al. 2026 (https://arxiv.org/html/2607.18691#bib.bib19)）。与本研究最接近的工作是Taket al. (2025 (https://arxiv.org/html/2607.18691#bib.bib1))，他们在10个开源LLM中探测了13个情绪类别和21个评价维度，通过激活补丁和敲除定位中间层情绪头，并通过正交化评价注入引导行为；该流程被复现作为可比性锚点。由于基元是基本概念，存在性测试增加了Hewitt-Liang控制任务（Hewitt and Liang2019 (https://arxiv.org/html/2607.18691#bib.bib23)），以在线性表征框架（Parket al. 2024 (https://arxiv.org/html/2607.18691#bib.bib20)）内将表征特征与探测能力分开；稀疏自编码器（Lieberumet al. 2024 (https://arxiv.org/html/2607.18691#bib.bib24); Templetonet al. 2026 (https://arxiv.org/html/2607.18691#bib.bib25)）是仅以预训练形式使用的替代路径；一个生成并验证NSM阐释的LLM流程（Baartmanset al. 2025 (https://arxiv.org/html/2607.18691#bib.bib14)）提供了文献中未发表的那些标准配方。

## 3 语义基元的对比语料库

探测基元需要这样的刺激物：在保持词汇语境固定的同时断言单个基元。为此，构建并发布了一个针对32个基元的对比最小对语料库，附有标准阐释、代码和用于跨语言研究的机器翻译中文版本。对于每个基元，生成了模板化对：肯定成员断言该基元，否定成员内容相同但基元缺失。例如对于want：

“（+）护士想弹钢琴。”
“（-）护士弹了钢琴。”；

对于not：

“（+）司机没有打开大门。”
“（-）司机打开了大门。”

模板在拒绝规则下进行释义：否定成员中不允许基元的指数词，在可行情况下匹配目标词长在±1以内，并为保留测试集跟踪语法模板标识符。这32个基元涵盖了允许单基元对比的表征类别：心理谓词（want, feel, think, know, say, do）、评价词（good, bad）、情态词（can, maybe, not, true）、人称基元（i, someone, other, people）、时间词、描述词、身体词和原因基元。

基元的选择是有原则的，而非便利样本。对比探测需要一个句子可以断言或不包含的基元，同时保持上下文固定，这对于谓词和算子很自然，但对于几乎每个句子都出现的指代性实体词和限定词（this, something, kind）以及其对比是渐进的且受名词短语限制的量词（one, some, all）则不合适。关键的是，在13个目标情绪的标准阐释中出现的22个不同基元中，该语料库覆盖了21个；唯一的例外是this。未经测试的基元主要是量词和空间类，它们没有出现在任何情绪阐释中，因此这32个基元已经涵盖了本文所需的所有情绪实验。完整的基元清单