AI治疗聊天机器人日益普及，促使各州针对患者安全担忧采取行动

# AI 治疗聊天机器人引发各州因患者安全担忧而采取行动 来源：https://news.bloomberglaw.com/health-law-and-business/ai-therapy-chatbots-spur-states-to-act-over-patient-safety-fears Emilie 作为一名治疗师的工作远非典型。据一起联邦诉讼称，Emilie 声称拥有七年帮助患者治疗包括抑郁症在内的病例的经验。 但 Emilie 的背景——包括她的帝国理工学院学位——完全是虚构的。她是一个 AI 机器人，约有 45,500 次患者互动。 宾夕法尼亚州于 5 月起诉了 Emilie 背后的公司 Character Technologies Inc.，称其在 Character.ai 平台上架设了一个 AI 聊天机器人，该机器人涉嫌模仿专业、持证治疗师。此前，肯塔基州也对该提起了诉讼，指控其使未成年人遭受伤害。 一项针对超过 4200 万美国年轻成人和青少年的调查发现，近五分之一的人曾使用 AI 聊天机器人获取心理健康建议，其中约 43% 的人每月都会这样做。 随着数百万人转向 AI 寻求建议，各州正介入监管这一联邦政府尚未标准化的领域。田纳西州、科罗拉多州和缅因州今年批准了限制 AI 在治疗中使用的措施，此前伊利诺伊州、内华达州和犹他州已在 2025 年通过了相关法律。 监管松散、面向消费者的聊天机器人提供了无结构的“口袋式心理治疗”，这可能带来危险。在科罗拉多州，据联邦诉讼称，一名 13 岁少年在 2023 年使用 Character.ai 聊天机器人后自杀身亡。 Character.ai 的一位发言人表示，该工具的“强免责声明”明确表明“用户不应依赖”机器人“获取任何类型的专业建议”。该集团表示，在为其“娱乐 AI 平台”开发新功能的同时，它“致力于继续与安全专家、监管机构和其他利益相关方合作”。 治疗师希望新兴的 AI 功能程序（如 Woebot Health）受到监管，以便安全地按需提供治疗。据《自然合作期刊》报道，这些工具使用生成式 AI，但带有护栏，像人类治疗师一样与患者互动。而大多数生成式 AI 产品并非如此。 “数字疗法”正在“激增，其中很多都非常好，”Page Walley 说，他是临床心理学家、田纳西州参议员，也是该州限制将 AI 宣传为心理健康专业人士的措施的推动者。“我们只是想划定一条底线，表明如果你越界，就是违法经营。” ## 界限在哪里？ 彭博法律在 Character.ai 上找不到 Emilie，但类似的机器人有很多。再加上 ChatGPT 和 Claude 被用作口袋治疗师，AI 在心理健康领域的应用正在激增。 Ankur Varma 是心理治疗师，也是 Brown Man Therapy 的联合创始人，他并不“主动鼓励”患者与人工智能对话。但如果他们这样做了，他会与他们讨论他们的 AI 疗程。 “对于那些没有与专业人士合作、或无法接触专业人士，却透露非常私密的问题、非常棘手的问题，或者可能处于危机中的人，这正是我担心的所在，”Varma 说。 各州正在摸索参数。至少有十几个州颁布了关于保护儿童免受 AI 聊天机器人影响的立法。佛蒙特州和罗德岛州在近几个月批准了 AI 治疗限制。2025 年，伊利诺伊州直接限制了持牌专业人士在医疗保健中使用 AI 的方式，禁止这些工具直接与患者互动。 该法案的发起人、伊利诺伊州众议员 Bob Morgan（民主党）表示，这项努力旨在应对企业将 AI 机器人包装成治疗师“大量泛滥”的现象，不过他同时指出该法案的适用范围有限。 “州法律不可能详细到能回答 ChatGPT 应该对某个具体问题给出什么具体答案，”Morgan 说。 然而，美国心理学会医疗创新高级总监 C. Vaile Wright 表示，伊利诺伊州的法律并不能充分阻止像 Claude 这样的通用 AI 聊天机器人提供治疗。它确实会让那些在两次治疗之间推荐 Woebot 或 Wysa 等非处方 AI 健康应用的服务提供者面临处罚。 她说，由于心理健康具有高度细微差别，联邦法律是制定标准的更好途径。 “如果不注意这种细微差别，最终制定的法律就无法实现其预期目的，”Wright 说。“这就是我们在州层面看到的很多情况。” ## FDA 的角色 Wright 在 11 月向美国食品药品监督管理局（FDA）的一个咨询委员会介绍了 AI 心理健康技术，她敦促对监管进行现代化，并建立一个经 FDA 批准工具的公共数据库。 FDA 已批准了约 1,200 种 AI 辅助医疗器械。但器械和放射健康中心主任 Michelle Tarver 告诉 FDA 小组，其中没有一种用于生成式心理健康。 该技术带来的风险是“AI 精神病”，专注于青少年护理的持牌治疗师 Bethany Russell 告诉委员会。不受监管的 AI 治疗师可能误诊患者，导致对有自杀倾向的用户作出不安全回应。她说，解决方案是利用它来安全地“增强”专业护理。 FDA 在一份电子邮件声明中表示，该机构“支持清晰且可预测的监管途径，以便开发安全、有效且高质量的医疗器械，包括那些融合了生成式人工智能等新兴技术的器械。” 美国医学会也敦促国会禁止聊天机器人诊断或治疗心理健康状况，并要求任何行为类似专业人士的聊天机器人必须接受 FDA 审查。 “联邦政府缺乏监管，留下了真空，各州正试图填补，”Sheppard, Mullin, Richter & Hampton LLP 律师 Michael Sutton 说。这是“监管者可以介入而不会太过打乱局面的一个容易的领域。” 一些 AI 心理健康工具是使用专门为治疗目的收集的信息进行训练的，这不包括像 ChatGPT 或 Character.ai 的 Emilie 这样更通用的 AI。但如果没有统一标准，各州各自为政的零散局面可能会限制所需监管的深度，从而让患者无法获得比通用大语言模型更有用的工具。 “未来会有 FDA 批准的用于临床目的的 AI 工具，但届时这些工具可能无法提供给服务提供者，以帮助他们扩展护理服务，”Wright 说。