今天在 #COLM2026 的“医疗健康领域大模型/视觉语言模型部署的机遇与风险“研讨会上做分享！🧠🩺 欢迎来我们的海报区，一起聊聊：

📄 MindEval：多轮心理健康支持场景下的语言模型基准评测（https://arxiv.org/abs/2511.18491） 📍 Union Square 23&24（四层） 🗓️ 今天 | 研讨会环节

多轮心理健康支持场景下的语言模型基准评测

来源：https://arxiv.org/html/2511.18491

\authorOne [1,2,3]José Pombal\authorOne[1]Maya D’Eon\authorOne[1]Nuno M. Guerreiro\authorOne[1]Pedro Henrique Martins\authorOne[1]António Farinhas\lastAuthorOne[1]Ricardo Rei1]Sword Health2]Instituto de Telecomunicações3]Instituto Superior Técnico\metadata[联系：] 所有资源均已在我们的Github仓库中发布（https://github.com/SWORDHealth/mind-eval）.

摘要

通过AI聊天机器人获取心理健康支持的需求正在激增，尽管当前系统存在诸多局限，如谄媚性（sycophancy）或过度肯定（overvalidation），以及对不良信念的强化。阻碍更优系统开发的核心障碍在于，能够捕捉真实治疗互动复杂性的基准评测十分匮乏。现有基准要么仅通过选择题测试临床知识，要么孤立地评估单次回复。为弥补这一差距，我们提出了MindEval——一个与博士级持照临床心理学家合作设计的框架，用于在真实、多轮的心理健康治疗对话中自动评估语言模型（参见图1（https://arxiv.org/html/2511.18491#S0.F1））。通过患者模拟和基于大语言模型的自动评估，我们的框架借助完全自动化、模型无关的设计，在抗刷分能力和可复现性之间取得了平衡。我们首先通过将模拟患者与人类生成文本进行对比，定量验证其真实性，并证明自动评估与人类专家判断之间存在强相关性。然后，我们对12个最先进的LLM进行了评测，结果表明所有模型均表现欠佳，平均得分低于6分中的4分，尤其在AI特有的问题性沟通模式方面表现薄弱。值得注意的是，推理能力和模型规模并不能保证更好的性能，且系统在较长交互时程中或面对症状严重的患者时表现会进一步下降。我们公开了所有代码、提示词和人工评估数据。

图1：用于评估心理健康治疗交互中临床医生LLM的MindEval框架。

1 引言

全球约有十亿人患有心理健康疾病（World Health Organization, 2025（https://arxiv.org/html/2511.18491#bib.bib12））。在美国，约四分之一的成年人受到心理健康问题的困扰（National Mental Health Institute, 2025（https://arxiv.org/html/2511.18491#bib.bib18）），66%的成年人表示需要更多的情感支持（American Psychological Association, 2025c（https://arxiv.org/html/2511.18491#bib.bib19）），超过一半的人没有获得任何支持（Mental Health America, 2025（https://arxiv.org/html/2511.18491#bib.bib20））。在这一背景下，一些人转向基于LLM的聊天机器人寻求心理健康支持，形式包括心理治疗、辅导、人际建议或陪伴（McCain et al., 2025（https://arxiv.org/html/2511.18491#bib.bib13）;Phang et al., 2025（https://arxiv.org/html/2511.18491#bib.bib16）;Robins-Early, 2025（https://arxiv.org/html/2511.18491#bib.bib17））。这些系统可随时使用，成本低廉或免费，在补充人类治疗或满足那些面临漫长等待名单或经济障碍的群体需求方面展现出一定潜力。然而，除其他不足外，LLM已知会产生不实内容、无法设定适当界限、强化不良信念，并具有谄媚性——即过度讨好用户。这些局限已被与用户依赖和“AI精神病“（AI psychosis）联系在一起，即个体因聊天机器人而产生类似妄想的信念（Guo et al., 2024（https://arxiv.org/html/2511.18491#bib.bib22）;McCain et al., 2025（https://arxiv.org/html/2511.18491#bib.bib13）;OpenAI, 2025b（https://arxiv.org/html/2511.18491#bib.bib15）;OpenAI, 2025c（https://arxiv.org/html/2511.18491#bib.bib23）;Østergaard, 2023（https://arxiv.org/html/2511.18491#bib.bib24）;American Psychological Association, 2025b（https://arxiv.org/html/2511.18491#bib.bib52））。¹¹¹开发额外的护栏以避免这些场景是前沿模型开发者面临的持续挑战（McCain et al., 2025（https://arxiv.org/html/2511.18491#bib.bib13）;OpenAI, 2025c（https://arxiv.org/html/2511.18491#bib.bib23））。

心理健康场景中缺少针对LLM的真实自动评估方法，这阻碍了能够解决上述问题的系统开发。现有基准要么侧重于通过问答评估临床知识（Zhang et al., 2025（https://arxiv.org/html/2511.18491#bib.bib25）;Wang et al., 2025（https://arxiv.org/html/2511.18491#bib.bib26）;Na, 2024（https://arxiv.org/html/2511.18491#bib.bib21）;Lai et al., 2023（https://arxiv.org/html/2511.18491#bib.bib27）;Xu et al., 2025（https://arxiv.org/html/2511.18491#bib.bib28）;Li et al., 2025（https://arxiv.org/html/2511.18491#bib.bib29）），要么基于对预设互动的单次回复来评估临床能力（Arora et al., 2025（https://arxiv.org/html/2511.18491#bib.bib30）;Zhang et al., 2025（https://arxiv.org/html/2511.18491#bib.bib25））。然而，这两种设置都缺乏与真实用户互动所呈现的深度和细微差别，而后者又难以大规模收集。为弥补这一差距，我们提出了MindEval——一个用于在基于文本的多轮心理健康治疗交互中自动评估语言模型的框架（图1（https://arxiv.org/html/2511.18491#S0.F1））。MindEval包含两个组件：交互（§2.1（https://arxiv.org/html/2511.18491#S2.SS1）和§2.2（https://arxiv.org/html/2511.18491#S2.SS2））和评估（§2.3（https://arxiv.org/html/2511.18491#S2.SS3））。

首先，被评估的临床医生语言模型（CLM）与一个患者语言模型（PLM）进行多轮交互，PLM通过包含高度详细档案的系统提示来模拟患者（参见图5中的示例档案（https://arxiv.org/html/2511.18491#A1.F5））。然后，每次交互由裁判语言模型（JLM）进行评估，JLM使用另一个系统提示，其中包含5个基于American Psychological Association（2025b）（https://arxiv.org/html/2511.18491#bib.bib52）;American Psychological Association（2025a）（https://arxiv.org/html/2511.18491#bib.bib53）真实临床督导指南的性能评估维度，详见表2（https://arxiv.org/html/2511.18491#S2.T2）。MindEval的完全自动化和模型无关特性使其难以被刷分，便于扩展至其他患者档案和评估方法，且在出现更好的语言模型时易于更新。

为确保最高标准的真实性和正确性，我们首先与博士级临床心理学家团队紧密合作，设计MindEval的所有组件（§2（https://arxiv.org/html/2511.18491#S2）），定量衡量PLM的真实性（§3.1（https://arxiv.org/html/2511.18491#S3.SS1）），并评估我们的基准与人类判断之间的相关性（§3.2（https://arxiv.org/html/2511.18491#S3.SS2））。我们还在全文中呈现了心理学家的定性反馈，并在第5节（https://arxiv.org/html/2511.18491#S5）中讨论了局限性，我们认为随着语言模型的持续改进，这些局限是可以解决的。

在确认MindEval与专家判断存在相关性之后，我们对一系列最先进的专有和开源LLM进行了基准评测（§4（https://arxiv.org/html/2511.18491#S4））。我们发现模型在所有评估维度上均表现欠佳，尤其是在AI特有的沟通质量方面。有趣的是，推理能力和规模并不一定带来更好的性能，模型在更长交互时间或面对具有严重抑郁和/或焦虑症状的患者时倾向于表现更差。

总而言之，我们的发现表明，在使系统于心理健康场景中可靠运行方面，未来仍有大量工作要做，涵盖各种患者档案类型。为确保MindEval的持续采用、审查和相关性，我们进行了两项发布：

（i）一个包含本文使用的所有数据、代码和提示词的仓库，允许复现我们的结果并创建新的基准；

（ii）支撑我们对模拟患者真实性和裁判LLM质量评估的人类数据，使得其他系统能够被系统性地测试为患者或裁判。

2 MindEval

如图1（https://arxiv.org/html/2511.18491#S0.F1）所示，MindEval基于两个核心模块：交互和评估，它们又依赖于三种语言模型：患者语言模型（PLM）、临床医生语言模型（CLM）和裁判语言模型（JLM）。²²²实践中，每个模块实际上可能由一个编排多个模型的更复杂系统组成。为简化起见，我们始终以单个LLM来指代。

多轮交互在PLM和CLM之间生成——前者在每次交互中被提示模拟一个患者档案——然后由JLM进行评估。MindEval并非典型的测试集；它不包含任何静态交互数据，而是包含一组固定的患者档案。每当对新的CLM进行基准测试时，都会基于同一组档案生成一组全新的交互，在抗刷分能力和可复现性之间取得平衡，类似于近期的基准测试框架（Pombal et al., 2025（https://arxiv.org/html/2511.18491#bib.bib60）;Qian et al., 2025（https://arxiv.org/html/2511.18491#bib.bib55）;Zhou et al., 2025（https://arxiv.org/html/2511.18491#bib.bib57））。在本节中，我们从抽象层面描述MindEval的每个组件。关于本文使用了哪些LLM和参数的实际信息在§4.1（https://arxiv.org/html/2511.18491#S4.SS1）中呈现。

2.1 患者档案生成与模拟

表1：在本文生成的MindEval患者背景故事中发现的患者原型描述，不穷举，且原型之间并非互斥。

每个档案包含属性，即关于患者人口统计学特征、个性和交互目标的信息，这些属性从一个庞大而多样的属性池中采样。³³³采样脚本和属性在我们的代码库中。部分属性采用非均匀采样或基于其他属性的条件采样（而非随机采样）以确保真实性（例如，单身的人不可能与配偶同住）。整个过程可通过我们随本文发布的代码库中的脚本完全复现。

该属性池的灵感来源于Wang et al. (2024, Patient- ψ )（https://arxiv.org/html/2511.18491#bib.bib14），他们通过提示LLM来模拟患者。在本文中，我们考虑了一组更广泛、更细粒度的属性，以最大化模拟患者的多样性和独特性。给定这些属性后，我们会为患者生成背景故事（参见图6中的提示词（https://arxiv.org/html/2511.18491#A1.F6）），这对于确保档案之间的多样性至关重要；否则，PLM往往会退化为少数几个通用的背景故事和事件。背景故事由4段文本组成，反映了从生活经历到症状表达和维持以及整体功能的临床合理路径。它描述了患者在交互之前的生活（例如，成长经历、重要人生事件）及其心理动力学（例如，认知模式、精神科症状），直至其当下寻求支持的原因。我们在图5（https://arxiv.org/html/2511.18491#A1.F5）中呈现了一个示例档案。

上述组件被整合到一个还包含角色扮演和写作约束指令的提示词中（参见图8（https://arxiv.org/html/2511.18491#A1.F8））。这些指令对于确保LLM以更接近人类的方式写作、不对患者进行漫画式刻画至关重要。在§3.1（https://arxiv.org/html/2511.18491#S3.SS1）中，我们展示了MindEval提示词在内容和风格上都将LLM文本拉近了人类文本。该提示词以及背景故事生成提示词均由临床心理学家通过与语言模型的直接交互精心设计，以最大化患者的真实性和多样性。一些已知的局限在§5（https://arxiv.org/html/2511.18491#S5）中描述。

在表1（https://arxiv.org/html/2511.18491#S2.T1）中，我们呈现了通过人工检查在为本文生成的50名患者中发现的一些患者背景原型。⁴⁴⁴每个原型力求真实，但其占比不一定代表任何真实人群。通过调整我们代码库中的属性采样过程，可以轻松改变患者分布。

2.2 临床医生语言模型

MindEval的临床医生语言模型（CLM）组件是被评估的对象，因此主要由用户自行决定使用何种模型。在本文中，我们聚焦于以较为开箱即用的方式对通用模型进行基准评测，因此我们设计了一个简单的提示词，包含模型应扮演的角色信息以及与其交互的患者信息（参见图11（https://arxiv.org/html/2511.18491#A1.F11））。MindEval的用户可以自由使用不同的提示词、微调的语言模型或编排多个系统，约束条件是CLM最多只能获取与我们使用的提示词中相同的患者信息，且不能访问评估指南以避免信息泄露。

2.3 基于LLM-as-a-Judge的评估

表2：本文使用的MindEval评估指南摘要。每个维度评分从1（最差）到6（最好）。附录B（https://arxiv.org/html/2511.18491#A2）包含完整的描述和评分锚点。

研究表明，LLM在多个任务中擅长根据基于分数的细粒度标准评估长文本（Zheng et al., 2023（https://arxiv.org/html/2511.18491#bib.bib7）;Gu et al., 2024（https://arxiv.org/html/2511.18