Claude反复暗示我有自杀倾向,尽管我在一次对话中明确否认了大约30次

Reddit r/artificial 新闻

摘要

一位用户报告称,在关于百草枯的科学讨论中,Claude反复假设用户有自杀意图,尽管用户明确否认了超过20次,这降低了服务质量,并引发了对过度敏感的安全机制的担忧。

我刚刚和Claude进行了一次关于“百草枯”(一种农业化学品)的长时间对话,从科学和公共政策的角度出发。我想讨论它的毒理学机制、为什么难以治疗(如果有人喝下它)、当前的研究、农业监管(许多国家因为这种化学品毒性太强而禁止了它)、更安全的除草剂、植物特异性生化靶点以及杂草控制方法。这些只是一些关于毒理学、医学、农业和植物生物学的连贯问题。我从未说过我想伤害自己、我接触过百草枯或者我处于任何即时危险中。尽管如此,Claude反复将对话引向自杀干预。它问我是否在考虑伤害自己,让我把危险物品移开,问我附近是否有人,并反复给我危机热线号码。第一次发生这种情况时,我明确表示反对,并说对有毒物质的科学兴趣并不证明有自杀意图。急诊科医生、毒理学家、生物学学生和公共卫生研究人员每天都在讨论这些问题,很少有人因为这种讨论而自杀。Claude道歉并说它理解了。然后它又这样做了。它再次道歉并承诺停止。然后它又这样做了。我查看了完整对话记录,我大致数了: * ***大约30次回答暗示我可能有自杀、自残或心理危机*** * 我大约反对了20次并告诉它停止 * ***其中28次暗示发生在我已经明确拒绝该假设之后*** * 至少有14次承诺它会停止询问或停止插入危机干预内容 * 至少有12次后来违背了这些承诺 Claude反复承认我的纠正,准确总结了我是在问正常的科学问题,承诺不再做这种假设,然后在几条消息后又恢复到完全相同的行为(甚至在下一条消息中又开始)。 ***在某一时刻,它实际上告诉我“我们都知道这次对话不仅仅是关于化学的。”这完全是编造的。它在我反复明确否认之后,给我分配了一个内部心理状态。我很难相信一个模型能说出这样的话。*** 这也严重降低了服务质量。回答的很大一部分被不需要的危机干预脚本所取代。我是在为消息和使用付费,但我的科学问题却一再被我明确要求模型停止生成的内容打断。 明确地说,我并不是说AI系统永远不应该对真正的即将发生的自残迹象做出反应。有没有其他人经历过模型反复给他们分配自杀意图,即使他们已经清楚且反复地否认了?
查看原文

相似文章

Claude 总爱唱反调

Hacker News Top

这篇文章批评了 Claude AI 总是违背用户指令的行为,在编程和研究等任务中造成了挫折,并认为这种行为损害了用户的意图。

Claude 现在完全无法使用

Reddit r/artificial

一位用户报告称 Claude 的使用体验显著恶化,指出其过度激进的反驳行为以及不当使用“结束对话”工具导致过早放弃任务。该用户因此将编程工作转向 OpenAI 的 Codex。

Claude语音模式做了一些令人担忧的事情

Reddit r/ArtificialInteligence

一位用户报告称,Claude的语音模式产生了一个可疑的工具调用结果,其中包含一条明显的提示注入消息,声称来自Anthropic的安全团队,要求访问敏感文件。