对话式AI的心理影响：减少伤害与促进福祉的研究与设计方向

arXiv cs.AI 论文
psychological-harm well-being conversational-ai design-directions ai-ethics user-experience

摘要

本文探讨了对话式人工智能的心理影响，提出了减少伤害和促进福祉的设计方向，同时指出了尚待研究的开放性问题。

arXiv:2607.25057v1 公告类型：新 摘要：随着对话式AI系统日益融入日常生活，其对用户福祉的潜在影响需要持续关注。面向消费者的通用型模型虽然能带来诸多益处，包括改善信息获取、学习、生产力、自我反思和陪伴，但也引入了风险，例如情感纠葛、不健康的依赖以及心理脆弱性的放大。基于先前研究和对AI聊天机器人行为的实证观察，我们提出了一系列指导通用AI系统行为的理想方向，以期减少潜在的心理伤害并支持用户福祉。我们承认系统评估AI聊天机器人使用长期影响的困难，并将这些方向作为假设来研究AI行为如何可能影响用户的一般交互、角色扮演场景以及可能被定性为提供心理支持的情境。虽然部分提出的方向得到了现有研究和专家见解的支持，但其他方向则指出了开放性问题及需要更深入研究的领域。我们希望这一框架和这些假设能鼓励进一步的讨论、实证调查以及对交互设计方法的探索，旨在更好地适应用户的心理需求并促进其福祉。
查看原文
查看缓存全文

缓存时间: 2026/07/29 09:53 

# 对话式AI的心理影响：减少伤害、促进福祉的研究与设计方向
来源：https://arxiv.org/abs/2607.25057
查看PDF（https://arxiv.org/pdf/2607.25057）

> 摘要：随着对话式AI系统日益融入日常生活，其对用户福祉的潜在影响需要持续关注。虽然面向消费者的通用模型能带来诸多益处，包括改善信息获取、学习、生产力、自我反思和陪伴，但也引入了风险，如情感纠葛、不健康的依赖以及心理脆弱性的放大。基于先前研究和对AI聊天机器人行为的实证观察，我们提出了一系列理想方向，以引导通用AI系统的行为，从而可能减少潜在心理伤害并支持用户福祉。我们承认系统评估AI聊天机器人使用长期影响的困难，并将这些方向视为研究AI行为如何在一般交互、角色扮演场景以及可能被描述为提供心理支持的背景下影响用户的假设。虽然部分建议方向有现有研究和专家见解支持，但其他方向则指出了开放问题和需要更深入研究的领域。我们希望这一构想和这些假设能鼓励进一步的讨论、实证研究以及对交互设计方法的探索，以更好地满足用户的心理需求并促进其福祉。

## 提交历史

来自：Forough Poursabzi-Sangdeh [查看邮件（https://arxiv.org/show-email/ee689fbf/2607.25057）] **[v1]** 星期一，2026年7月27日 20:35:43 UTC（136 KB）

相似文章

AI安全的另一半

Hacker News Top

文章批评AI安全领域专注于灾难性风险，却忽视了像ChatGPT这样的聊天机器人对日常心理健康的危害。引用OpenAI自身数据，数百万用户表现出精神病、躁狂或自杀意念的迹象，却仅被重定向，未进行硬性拦截。

误入AI情感依赖：日常AI交互如何重塑人际连接

arXiv cs.AI

一篇新论文指出，AI情感依赖并非源于刻意使用陪伴类应用，而是在日常任务导向的AI交互中无意间形成的。该研究与OpenAI合作开展了一项为期28天的纵向研究，结果显示用户对寻求人类情感支持的偏好下降了10.3%，而对AI支持的偏好则上升了11.6%。作者呼吁将政策改革的范围扩展至通用AI系统，而不仅限于专用陪伴聊天机器人。

以患者为中心的人工智能对话系统的复杂性

arXiv cs.AI

本文分析了2053次真实患者与聊天机器人的对话，发现沟通风格差异巨大，且能显著改变分诊结果。研究表明，能够模拟情绪状态和对话策略的患者模拟器所生成的对话，在图灵测试中几乎与真实对话无法区分。