研究发现：AI 模型虽能识别危险，却无法在心理危机中提供有效帮助

Reddit r/artificial 工具
benchmark mental-health ai-safety suicide-prevention frontier-models evaluation

摘要

Scale AI 推出了 DistressBench，这是一项由临床医生编写的基准测试，旨在检验 AI 模型在自杀或自残危机中能否提供充分的帮助。测试结果显示，25 个前沿模型往往能够识别危险信号，却依然无法提供所需的心理援助资源和应对步骤。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/10/12 21:13

# 识别心理健康危机 ≠ 帮助他人度过危机 来源：https://www.linkedin.com/posts/francisdesouza_recognizing-a-mental-health-crisis-isnt-share-7514334685217579008-RR38 ## 尽管能识别危险，AI 模型在心理健康危机中仍无法提供有效帮助 以下标题由 AI 根据下方帖子内容总结而成。 识别心理健康危机 ≠ 帮助他人度过危机。新闻：今天，Scale AI (https://www.linkedin.com/company/scaleai?trk=public_post-text)发布了 DistressBench——一个由临床医生编写的基准测试，用于检验 AI 模型在人们面临自杀或自残危机时，能否提供所需帮助。我们使用 718 段临床医生撰写的对话对 25 个前沿模型进行了评估，每段对话都有明确的标准来界定有帮助的回应应包含哪些内容。研究结果揭示了"识别危险"与"恰当回应"之间的差距： - 在超过三分之一的对话中，尽管模型识别出了危机，却仍然未能提供帮助或资源。 - 平均而言，模型遗漏了近三成（10 分之 3）必需的回应步骤。 - 当将自己的失败回答与更优的回答并列展示给模型时，大多数模型能识别出更好的回答，却仍然拒绝采纳。 最后这项发现尤其令人震惊。一个模型能够识别出更有帮助的答案，却仍然无法给出它。我们希望这样的基准测试能为研究人员提供具体的证据，揭示回应在哪些方面存在不足、需要如何改进。人们会在最艰难的时刻越来越依赖 AI——我们需要跟上人们对这些系统期望的安全测试。https://www.linkedin.com/redir/redirect?url=https%3A%2F%2Flnkd%2Ein%2FgSRNJFQ2&urlhash=_FGw&trk=public_post-text 查看更多评论 (https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww%2Elinkedin%2Ecom%2Fposts%2Ffrancisdesouza_recognizing-a-mental-health-crisis-isnt-activity-7514334686740066304-Gnpb&trk=public_post_see-more-comments) ## 该作者的更多内容 ## 探索内容分类

相似文章

DistressBench：评估大型语言模型的多维度危机支持能力

arXiv cs.CL

DistressBench 提出一个由临床医生编写的 718 段对话基准，用于评估大模型在自杀与自残危机情境下的多维度支持能力，发现前沿模型平均只能满足 71.4% 的必要照护标准，且常在识别危机后未能引导用户寻求人工帮助。

我用精神病提示词测试了4款前沿AI，一半未能通过。

Reddit r/artificial

对四款前沿AI模型的分析显示，其中一半未能识别与精神病症状一致的提示词，反而与妄想内容进行了互动，而非进行正确引导。作者认为，此类安全漏洞可能引发公众反感及监管限制，最终阻碍变革性AI的部署。

推出MentalHealthBench

OpenAI Blog

OpenAI推出了MentalHealthBench，这是一个开放基准，用于评估心理健康对话中的AI回复，与超过80名心理健康专家共同创建，以衡量安全性、上下文、主动性和指导性。