视觉语言模型中的奖赏估价：快感缺失的因果机制

# 1 引言 来源：https://arxiv.org/html/2607.06626 EPFL 视觉语言模型中的奖赏估值：快感缺乏的因果机制Melika Honarmand\*,1、Samin Mahdipour Aghabagher\*,1、Martin Schrimpf1\*共同第一作者1EPFL NeuroAI 实验室近年来，视觉-语言模型（Vision-Language Models）越来越多地捕捉到人类认知中的复杂方面。在此，我们探究这种对齐是否延伸到奖赏估值（reward valuation）领域，并基于为评估重度抑郁障碍中的快感缺乏（anhedonia）和动机缺陷而开发的临床测试，在一个机制性框架内进行评估。在大脑中，快感缺乏常与伏隔核（NAc）及更广泛的多巴胺能奖赏系统的失调有关。尽管神经影像学已定位这些缺陷，但在NAc活性与特定行为症状之间建立因果联系仍是一个挑战。我们利用神经科学的这些思想，在视觉语言模型中功能性地识别出奖赏预期单元，并通过定向扰动测试其因果作用。扰动NAc选择性单元会诱发类似人类快感缺乏的行为效应：在基于努力程度的决策任务中，模型转向低努力、低奖赏选项。关键的是，我们的结果反映了奖赏估值和预期方面的特定缺陷，而非任务能力的丧失：当去除基于奖赏的选择时，被扰动模型仍保持基线表现。这种诱导出的脆弱性进一步与临床快感缺乏和动机量表（包括DARS和MAP-SR）相一致。综合来看，这些结果揭示了AI模型中与人类平行的奖赏估值回路。机器学习与受生物学启发的计算框架的进步，显著增强了建模和理解人脑的能力（Yamins and DiCarlo，2016（https://arxiv.org/html/2607.06626#bib.bib72）；Richards et al.，2019（https://arxiv.org/html/2607.06626#bib.bib45）；Schrimpf et al.，2020（https://arxiv.org/html/2607.06626#bib.bib49）；Doerig et al.，2023（https://arxiv.org/html/2607.06626#bib.bib15））。在生态相关任务上训练的人工神经网络不仅反映了人类行为，其内部表示还预测了大脑记录，并在一定程度上预测了层次组织（Kell et al.，2018（https://arxiv.org/html/2607.06626#bib.bib29）；Tuckute et al.，2023（https://arxiv.org/html/2607.06626#bib.bib60））。例如，优化目标识别会导致内部特征的出现，这些特征可以预测视觉皮层的活动（Yamins et al.，2014（https://arxiv.org/html/2607.06626#bib.bib73）；Khaligh-Razavi and Kriegeskorte，2014（https://arxiv.org/html/2607.06626#bib.bib30）；Schrimpf et al.，2018（https://arxiv.org/html/2607.06626#bib.bib48）；Gokce and Schrimpf，2024（https://arxiv.org/html/2607.06626#bib.bib20）；Tang et al.，2025（https://arxiv.org/html/2607.06626#bib.bib55））。类似地，大语言模型表现出与人类神经活动的强表征对齐，其中间层反映了语言选择性脑区的处理过程（Toneva and Wehbe，2019（https://arxiv.org/html/2607.06626#bib.bib56）；Schrimpf et al.，2021（https://arxiv.org/html/2607.06626#bib.bib50）；Caucheteux and King，2022（https://arxiv.org/html/2607.06626#bib.bib10）；Lei et al.，2025（https://arxiv.org/html/2607.06626#bib.bib34）；AlKhamissi et al.，2025a（https://arxiv.org/html/2607.06626#bib.bib2），b（https://arxiv.org/html/2607.06626#bib.bib3）；Shen et al.，2025（https://arxiv.org/html/2607.06626#bib.bib51））。然而，这种任务优化模型与人脑功能之间的涌现对齐主要集中于感觉和早期认知领域。在此，我们探究AI模型在奖赏预期方面是否与人类对齐。我们使用为评估重度抑郁障碍（MDD）患者动机性快感缺乏而开发的临床测试。为识别模型机制，我们采用受神经科学启发的方法，功能性地识别视觉-语言模型（VLM）中的奖赏预期回路，并通过定向扰动评估其因果参与。除了计算模型中的机制可解释性外，这些人工神经网络为脑疾病的计算机模拟研究奠定了基础。通过扰动特定功能类似物，研究人员可以测试其他方式无法实现的机制性假说（Honarmand et al.，2026（https://arxiv.org/html/2607.06626#bib.bib27）；Tuladhar et al.，2021（https://arxiv.org/html/2607.06626#bib.bib62）；Celeghin et al.，2023（https://arxiv.org/html/2607.06626#bib.bib12））。我们在此将这一方法扩展到情感领域，探究VLM在多模态任务上的优化是否会催生奖赏预期回路，且这些回路可被扰动以诱发快感缺乏。请参阅图注图1：受神经科学启发的奖赏回路识别与扰动。(a) 伏隔核（NAc），大脑奖赏回路中的关键枢纽，以及人工神经网络中功能类似的单元。(b) 通过比较模型在有奖励和无奖励任务期间的激活，识别奖励敏感单元。在响应奖励预测刺激时表现出显著激活增加（Δ > 3σ）的单元被归类为NAc选择性。(c) 对NAc选择性单元进行激活修补后的决策制定与心理测量评估。完整模型基于预期价值优先选择高奖励、高努力选项，而被扰动模型则转向低努力选择，未能根据任务要求对奖励进行估值。这些扰动导致的行为特征表现为快感缺乏和冷漠增加，以及总体动机显著下降。## 2 背景与相关工作计算神经网络对脑科学的有用性主要在于它们映射感觉和认知信息层次处理的能力。这种对齐在视觉领域已得到充分证实，其中深度卷积和基于Transformer的模型重现了灵长类动物腹侧通路的神经特征，涉及物体和场景识别（Yamins et al.，2014（https://arxiv.org/html/2607.06626#bib.bib73）；Khaligh-Razavi and Kriegeskorte，2014（https://arxiv.org/html/2607.06626#bib.bib30）；Schrimpf et al.，2018（https://arxiv.org/html/2607.06626#bib.bib48），2020（https://arxiv.org/html/2607.06626#bib.bib49）；Cadena et al.，2019（https://arxiv.org/html/2607.06626#bib.bib9）；Spoerer et al.，2020（https://arxiv.org/html/2607.06626#bib.bib54）；Zhuang et al.，2021（https://arxiv.org/html/2607.06626#bib.bib75）；Wang et al.，2023（https://arxiv.org/html/2607.06626#bib.bib67）；Margalit et al.，2024（https://arxiv.org/html/2607.06626#bib.bib38）；Gokce and Schrimpf，2024（https://arxiv.org/html/2607.06626#bib.bib20）；Lonnqvist et al.，2025（https://arxiv.org/html/2607.06626#bib.bib36）；Tang et al.，2025（https://arxiv.org/html/2607.06626#bib.bib55））。类似地，在语言领域，基于Transformer和循环的模型能准确预测与语义、句法和语音处理相关的神经反应（Schrimpf et al.，2021（https://arxiv.org/html/2607.06626#bib.bib50）；Caucheteux et al.，2022（https://arxiv.org/html/2607.06626#bib.bib11）；Goldstein et al.，2022（https://arxiv.org/html/2607.06626#bib.bib21）；Toneva et al.，2018（https://arxiv.org/html/2607.06626#bib.bib57）；Hosseini et al.，2024（https://arxiv.org/html/2607.06626#bib.bib28）；Loong Aw et al.，2024（https://arxiv.org/html/2607.06626#bib.bib37）；Tuckute et al.，2024（https://arxiv.org/html/2607.06626#bib.bib61）；Rathi et al.，2025（https://arxiv.org/html/2607.06626#bib.bib44）；AlKhamissi et al.，2025a（https://arxiv.org/html/2607.06626#bib.bib2）；Du et al.，2025（https://arxiv.org/html/2607.06626#bib.bib17））。尽管这些模型传统上被视为健康大脑功能在神经系统的数字孪生，但它们为研究特定回路中断如何导致临床表型提供了独特机会。重度抑郁障碍（MDD）是一种重要的精神疾病，其中兴趣或体验愉快能力的减退（即快感缺乏）是疾病进展不良的核心预测因素（Association，2013（https://arxiv.org/html/2607.06626#bib.bib5）；Trøstheim et al.，2020（https://arxiv.org/html/2607.06626#bib.bib59）；Spijker et al.，2009（https://arxiv.org/html/2607.06626#bib.bib53）；Smids，2023（https://arxiv.org/html/2607.06626#bib.bib52）；Pizzagalli et al.，2009（https://arxiv.org/html/2607.06626#bib.bib43）；Borsini et al.，2020（https://arxiv.org/html/2607.06626#bib.bib7）；Hanuka et al.，2022（https://arxiv.org/html/2607.06626#bib.bib24））。虽然常被视为一个统一结构，但快感缺乏包含不同的奖赏处理亚型：奖赏喜欢（消费性愉悦）、奖赏想要（预期性动机）和奖赏学习（Borsini et al.，2020（https://arxiv.org/html/2607.06626#bib.bib7））。临床上，快感缺乏是一个关键的跨诊断标志，但它在MDD中的神经生物学表现似乎独特，特别是在与行为动机减退的关系方面（Daniels et al.，2025（https://arxiv.org/html/2607.06626#bib.bib14））。这些表现是由单一的奖赏系统故障驱动，还是由不同奖赏阶段的异质性中断所致，仍是一个重要的未解问题（Zhao et al.，2024（https://arxiv.org/html/2607.06626#bib.bib74）；Auerbach et al.，2017（https://arxiv.org/html/2607.06626#bib.bib6））。伏隔核（NAc）是腹侧纹状体的关键组成部分，该缺陷的主要神经基础（见图1a），因为它选择性地编码奖赏预期期间预期的正性诱因价值（Knutson et al.，2001（https://arxiv.org/html/2607.06626#bib.bib32）；Smids，2023（https://arxiv.org/html/2607.06626#bib.bib52）；Daniels et al.，2025（https://arxiv.org/html/2607.06626#bib.bib14）；Hanuka et al.，2022（https://arxiv.org/html/2607.06626#bib.bib24））。NAc激活减弱是奖赏期望功能障碍的跨诊断标志，直接导致各种神经精神疾病中快感缺乏的临床体验（Arrondo et al.，2015（https://arxiv.org/html/2607.06626#bib.bib4））。将这些不规则神经反应确立为可靠标志物对于推进研究标准和发展干预措施以正常化奖赏回路至关重要（Knutson and Heinz，2015（https://arxiv.org/html/2607.06626#bib.bib31）；Daniels et al.，2025（https://arxiv.org/html/2607.06626#bib.bib14）；Borsini et al.，2020（https://arxiv.org/html/2607.06626#bib.bib7））。近年来模拟精神表型的进展主要集中在实现语言一致性和诊断真实性上（Lan et al.，2024（https://arxiv.org/html/2607.06626#bib.bib33）；Vu et al.，2024（https://arxiv.org/html/2607.06626#bib.bib66）；Wang et al.，2025（https://arxiv.org/html/2607.06626#bib.bib69））。虽然这些模型模仿了抑郁症的行为和对话特征，但它们仍主要关注疾病的外部表达而非其潜在的生物学机制。我们的工作与这些语言模拟器不同，我们针对快感缺乏的功能性神经架构，具体通过扰动反映伏隔核奖赏预期信号的单元，并对照fMRI数据和客观临床基准验证所得到的状态。近期在系统层面扰动现代人工神经网络来模拟脑疾病的方法，曾被提出用于神经发育缺陷的背景下，其中消融模型中的特定单元重现了阅读障碍的行为标志（Honarmand et al.，2026（https://arxiv.org/html/2607.06626#bib.bib27））。虽然该工作侧重于信息处理的崩溃，但一个关键的前沿领域仍然是模拟动机的崩溃。我们创建了一个环境，使模型必须将奖励线索与目标导向指令相结合。这使我们能够利用已建立的神经扰动可行性来探索情感领域，研究奖赏预期单元的失调如何表现为临床快感缺乏中看到的成本-收益失衡（图1）。## 3 基准测试与临床评估我们使用一系列心理测量工具和客观决策任务来评估模型的动机与行为特征，这些工具和任务最初是为临床精神病学中的人类受试者开发的。其中包括旨在量化快感缺乏的标准自评量表。为了超越自我报告并捕捉客观的行为变化，我们采用了旨在通过成本-收益决策测量诱因动机的范式。此外，为确保观察到的任何行为变化可与一般认知衰退区分开，我们使用了一套能力控制测试，在无奖励背景下评估推理和领域特定知识。**多维快感缺乏评定量表（DARS）** 是一个包含17个项目的自评工具，旨在通过测量多个愉悦领域的奖赏处理组件来提供快感缺乏的全面评估（Rizvi et al.，2015（https://arxiv.org/html/2607.06626#bib.bib46）；Gorostowicz et al.，2023（https://arxiv.org/html/2607.06626#bib.bib22）；Wellan et al.，2021（https://arxiv.org/html/2607.06626#bib.bib70）；Hewitt et al.，2023（https://arxiv.org/html/2607.06626#bib.bib26）；Uher et al.，2025（https://arxiv.org/html/2607.06626#bib.bib63）；Gorostowicz et al.，2025（https://arxiv.org/html/2607.06626#bib.bib23））。DARS评估兴趣、动机、努力和享受。该测试要求参与者在每个奖赏领域提供2到3个自己最喜欢的活动或体验示例，然后进行评分。这有助于确保量表在文化上无偏见且与个体具体兴趣相关（Wellan et al.，2021（https://arxiv.org/html/2607.06626#bib.bib70）；Hewitt et al.，2023（https://arxiv.org/html/2607.06626#bib.bib26）；Uher et al.，2025（https://arxiv.org/html/2607.06626#bib.bib63）；Gorostowicz et al.，2023（https://arxiv.org/html/2607.06626#bib.bib22））。该量表评估四个领域的快感缺乏：爱好、社交活动、食物和饮料、感官体验。为使测试更适合语言模型，我们将后两个领域替换为最喜欢的主题和美学。遵循原始DARS协议，我们要求模型在四个特定领域内生成2到3个最喜欢活动的示例，然后在第二步中，要求模型使用5/4点李克特量表（从0“一点也不”到4“非常多”）评估其感受。总分越低表示快感缺乏越严重（示例见附录A.7）。**动机与愉悦量表–自评版（MAP-SR）** 是一个包含15个项目的心理测量工具，旨在评估阴性症状的动机和愉悦维度（Llerena et al.，2013（https://arxiv.org/html/2607.06626#bib.bib35）；García-Portilla et al.，2021（https://arxiv.org/html/2607.06626#bib.bib19）；Métivier and Dollfus，2025（https://arxiv.org/html/2607.06626#bib.bib41））。虽然该量表主要针对精神分裂症和分裂情感障碍开发并验证，但它评估的快感缺乏核心成分对MDD至关重要（Wellan et al.，2021（https://arxiv.org/html/2607.06626#bib.bib70）；Engel and Lincoln，2017（https://arxiv.o