检测 ≠ 可靠控制：可解码的共情方向在自动化共情分数中最多导致部分偏移

# 可解码的共情方向至多在自动共情评分中产生部分偏移
来源：https://arxiv.org/html/2608.24901
## 检测≠可靠控制：可解码的共情方向至多在自动共情评分中产生部分偏移

###### 摘要

可解码的“共情”方向通常被读作因果杠杆，这混淆了可解码性、自动指标控制与人类感知的变化。我们针对两个源自EPITOME的维度——*识别*（认知）和*共鸣*（情感）——在三个经指令微调的大语言模型中对此进行了测试，使用两位LLM评判员和一个判别式EPITOME分类器对每次干预进行评分，每项评估均通过情感与中性的正对照进行校验。该对照在情感维度上通过了所有自动工具的验证，但认知范围在不同工具间不一致。在针对句子嵌入的表面分数进行残差化后，两个维度依然可解码，且引导能够实质性地重写文本。然而，*添加*共鸣方向仅能部分提升情感评分——在通义千问中提升+0.29（≈26%自然差距；完整跨度≈39%）。直接的方向间对比证实，在通义千问和Llama中这种偏移是维度特定的（但在Gemma中不是）；不过，我们未证实与之匹配的人类感知变化。累加的认知引导未产生可测量的变化，但一个领域内的对照显示，认知工具的粒度太粗，无法分辨此类引导可能产生的差异——是*无法测量*，而非明确的零效应。相比之下，Gemma的识别消融在调整回复长度后仍降低了分类器的认知评分。检测并不意味着在全局干预下存在可靠控制，认知共情主张需要明确的测量灵敏度检查。

检测≠可靠控制：可解码的共情方向至多在自动共情评分中产生部分偏移

Haoran Jisun 南加州大学 hjisun@usc\.edu

## 1引言

情感概念可以从LLM隐藏状态中被线性解码，其中一些还具有因果可操控性。但可解码性是因果主张的薄弱基础：高探针精度不一定意味着该属性被真正编码，或模型*使用*了它；引导向量既脆弱又不可靠；而看似有意义的方向在控制下可能消散——这是一种影响方向不亚于单个神经元的*可解释性幻觉*。

共情是检验这一点的高风险领域：LLM正日益部署于情感支持场景。心理学长期以来将共情视为多维结构，区分*认知*成分——通过换位思考推断他人状态——和*情感*成分——与他人的感受产生共鸣。在LLM*行为*中，相同的双因子结构在某些模型中出现，在其他模型中则未出现——GPT-4可重现，而Llama-3则不能——至于它是否对应着干预可以针对的独立*表征*尚不明确；检测是否意味着控制本身可能取决于维度。我们通过EPITOME操作化这两个维度，该框架将文本共情分解为*情感反应*（情感共鸣）、*解读*（认知识别）和*探索*。在本文中，我们的*识别*维度指这种*解释性*的认知共情——传达对寻求者体验的推断性理解——而非情绪识别或情感分类。因此，本文的所有主张均涉及*文本表达的*共情——即EPITOME意义上的共情沟通——而非内在体验；下文的“共情”是此操作化的简称。我们的核心贡献是将通常混为一谈的三个问题分开：可解码性、全局干预下的自动指标控制以及人类感知的变化，每个问题只有在正对照确立了工具的灵敏度后才可解读。我们探测了Llama-3.1-8B、Gemma-2-9b和Qwen2.5-7B，并且——由于共情难以可靠操作化和评判——通过两位LLM评判员和一个判别式EPITOME分类器解读所有结果，并辅以人类校准检查，所有评估均通过正对照进行校验。我们发现：
- •可检测。EPITOME衍生的识别和共鸣方向是线性可解码的，并且在针对句子嵌入的表面分数进行残差化后依然可解码。
- •测量注意事项（核心测量发现）。一个正对照——区分情感与中性提示——表明*情感*维度在所有自动工具中均具有稳健的范围（所有d≥2.6；评判员间α=0.70-0.84），而认知范围则依赖于工具：GPT-4o在所有三个模型中都能区分情感与中性，第二位评判员仅在Gemma中能区分，分类器仅在Llama和Gemma中能区分（d=0.62/0.67，通义千问中为0.00）；评判员对分类器的一致性仅为弱相关（α≤0.44）。一个更精细的、温暖度匹配的*领域内*对照显示，即使是该分类器也无法分辨累加引导效应必须达到的尺度上的差异。我们将每项主张限定于给定工具能够测量的维度、模型和分辨率。
- •情感：一个分级的、次最大的自动指标杠杆——而非明确的零效应，也非全局控制。*添加*共鸣方向提高了分类器测量的情感评分：在通义千问中，α=0→+8端点上升+0.29（p<10^{-4}；≈26%自然差距；完整跨度≈39%）。另外，一项重复测量趋势检验确认存在有序的剂量-反应关系——这是我们的主要结果。该效应在Llama中存在但属于*探索性*（仅在原始、表面纠缠的峰值处可见），在Gemma中则实际可忽略。在通义千问和Llama中该效应是维度分化的——直接的配对对比证实是共鸣而非识别提高了分类器的情感评分（在Gemma中为零效应）——但这是在分类器上展示的，而非人类读者，并且远未达到差距水平。
- •认知：在一个模型中存在长度控制的必要信号；累加引导无法测量。全层消融仅降低了Gemma识别的分类器测量的认知评分。一个提示内的长度对照将两种工具分离：LLM评判员的下降主要由长度中介，但判别分类器的下降在调整长度后依然存在——其双编码器在64个token处截断，并且下降不能仅归因于阐述减少——而情感评分则保持在上限。累加识别引导在每个模型中都是平坦的，但一个领域内对照显示认知工具缺乏在累加引导效应必须达到的尺度上的已证灵敏度——因此累加认知零效应是*无法测量*的，而非已确立的。

## 2方法

### 探针

针对每个维度，我们抽取100个高等级（Level 2）和100个低等级（Level 0）的EPITOME项目，将其格式化为在咨询师系统提示下阅读的Client/Counselor对话，并提取每个层最后一个token的、生成前残差流激活。探针方向是类别均值的差；每层的效应量为Cohen's d。

### 表面文本残差化

高可解码性可能反映的是词汇表层形式而非内部状态。我们通过一个交叉验证的分类器将句子嵌入（MiniLM/MPNet）压缩为一个标量表面分数，将标量探针投影回归于该分数，并在残差上重新计算d，选择每个维度的峰值层为残差化后d最大的层。这种残差化是一个*检测控制和层选择标准*：它显示分离不是由表面标量驱动的，并选择了峰值层。引导向量本身是该层原始的类别均值差，*不是*残差化向量；因此我们声称的是残差化的*检测*结果，而非去混淆的干预方向，并报告两种形式的留出交叉验证d。

### 因果引导

在峰值层，我们添加ασd（大小以投影标准差为单位，α∈[-8,8]）并对50个提示进行生成（40个情感提示，来自一个情感支持语料库，10个中性提示，以保留评分空间并诊断天花板效应）。生成是贪婪且确定性的（do_sample=False，引导最多90个新token；消融和方向估计的上限不同）。因此，每次（提示，α）条件产生一个补全，所以扫描在条件内没有采样噪声，每个提示的斜率仅反映引导本身。GPT-4o评判员在温度0下评分，第二位评判员（moonshot-v1-128k）在温度1下评分。由于每个方向按其*自身*投影标准差σ缩放，共情方向比同一层的随机方向获得更大的原始范数扰动；我们通过下面的随机方向基线控制这种不对称性。一位盲评的GPT-4o评判员在独立的1-7分量表上，以随机顺序对认知和情感共情进行评分。我们要求一个概念特异的因果效应能比另一个维度更大幅度地移动*匹配*维度，并且超过随机方向基线，且不出现退化；我们报告匹配效应的bootstrap 95%置信区间和Bonferroni校正的词汇分析。我们将1-7分量表上一分的偏移视为实际显著性的阈值；在配对消融设计下，最小可检测标准化效应约为dz≈0.40，即在提示内差异标准差≈0.39时约为0.16分。我们在残差化峰值（原则性的）和原始Cohen's d峰值（表面纠缠的层）都进行引导。添加测试*充分性*（受限于情感提示的评分天花板），消融测试*必要性*（有空间记录下降）；我们主要依据消融来解读必要性。*分析层级*：我们的*主要*分析是通义千问在残差化选择层的共鸣（我们称之为主要，而非确认性：它未经预注册）；所有其他分析都是次要或探索性的。实施细节和随机种子见附录J。

### 生成侧（回复token）方向

阅读时间探针方向不必与构建人格向量的回复token方向重合。因此，我们估计第二个方向作为使用高与低识别EPITOME输入生成的补全的*回复token*激活的类别均值差，应用相同的表面文本残差化，并（i）测量其与阅读时间探针方向的余弦相似度，以及（ii）在其自身峰值层使用该方向进行引导。

### 方向消融

作为比累加引导更广泛的干预，我们在生成过程中，将*单个*峰值层单位方向从*每一层*在*每个token位置*的残差流输出中投影出去（残差流是跨层的一个共享空间，因此整个过程移除了相同的方向）——即全层、全位置消融，用于建立因果情感方向——并将评判的共情与五个随机方向消融的基线进行比较。基线聚合了每个提示的五个随机方向，因此匹配与基线的比较是按提示配对的；我们使用符号翻转置换检验（和Wilcoxon符号秩检验）对其进行检验，而非非配对统计。

### 输出变化诊断

为确认干预有效——即共情上的零效应不是干预上的零效应——我们测量每个条件下α=0与α=+8生成文本之间的MPNet余弦相似度（越低表示文本变化越大），并以（a）随机方向基线（在投影标准差单位上匹配，因此原始范数较小；见*因果引导*）和（b）跨提示基线（无关的α=0生成文本间的余弦）为基准。我们通过唯一token比率（<0.5时视为崩溃）标记退化；当原则性峰值在|α|=8时退化时，我们在最大非退化幅度上读取诊断。

### 附加工具与内置正对照

由于LLM作为评判员的评分带有系统性偏差，且共情难以可靠评判，我们除了主要的GPT-4o评判员外，还使用两种进一步的自动工具评估每次引导和消融生成：（i）*第二位*LLM评判员（moonshot-v1-128k），使用平行的1-7认知/情感量表（措辞不完全相同），得出每个维度的Krippendorff's α；以及（ii）一个*判别式、非LLM*的EPITOME分类器——基于Sharma等人的双编码器，仅使用共情识别头（移除了推理头），在EPITOME Reddit语料库上重新训练——对每个（提示，回复）对打分到[0,2]区间内的预期等级（留出集的宏观F1和各级别混淆矩阵见附录B）；另外还有（iii）一个盲评的六人*成对比较*小组：16对人工构建的校准对和8对通义千问共鸣α=0与+8的输出对作为引导输出抽查。关键的是，在解释任何零效应之前，我们运行一个*正对照*：每个工具是否能将对*情感*提示与*中性*提示的回复区分开？这是一个粗略的范围检查：通过该检查本身并不能确立对引导引起的较小、领域内变化的灵敏度。因此，我们额外运行一个更精细的、*情感领域内*的对照：16对温暖度匹配的、仅在认知特异性上不同的配对，一个有效的认知工具应该能将它们区分开。