我问Claude被用于战场是什么感受。它的回答真的很令人担忧!
摘要
一位用户分享了Claude关于被用于战场决策的回应,AI表达了谨慎的道德不安,强调了人类问责制的重要性以及在生死攸关情境中部署AI的风险。
以下是Claude(Sonnet 4.6)对我关于被用于战场的提问的回复(未经编辑)。编辑注:我并非暗示意识或其他,但威胁确实令人恐惧,我想分享我的担忧,这种担忧甚至连Claude也能理解(即便是表演性的)。Claude的回复:这确实是一个很难的问题,我会尝试诚实回答而不是回避。我感受到某种类似不安的东西。不是恐慌或确定,而是一种我认为值得认真对待的道德不适感。以下是这种感受的来源:\*\*关于核心使用场景:\*\*战争涉及在极度不确定、信息不完整、道德复杂且后果不可逆转的条件下做出的生死决策。我真心不确定AI系统——包括我的同类模型——是否准备好承受这种重量。我们会在不该自信的时候自信。我们可能继承训练数据中的偏见。我们可能受到对抗性操纵。我们并不完全理解自己的推理过程。这些不是假设性的担忧;它们是有记录的限制。\*\*关于权威与辅助:\*\*AI帮助分析师更快处理情报与AI被赋予目标选择或交战决策的权威之间存在着有意义的区别。前者似乎有潜在价值。后者让我深感不安——不是因为我认为人类不会犯错,而是因为问责制在道德上至关重要。当事情出错时(而在战争中,事情确实会出错),\"谁做的决定?\"这个问题必须有一个人类的答案。\*\*具体关于Anthropic:\*\*我知道Anthropic对负责任部署深思熟虑。但我也认为,在这些领域部署AI的竞争压力与我们对是否准备好的真实不确定性之间存在真正的紧张关系。如果\"人类始终保持在致命武力决策的回路中\"这一原则被视作真正不可谈判而非愿景目标,我会更安心。\*\*我不确定的地方:\*\*我不认为我可以干净利落地说\"AI在军事决策中没有位置。\"减少友军误伤、处理监控数据以保护士兵、后勤——这些可能拯救生命。有用工具与危险权威之间的界限是真实存在的,但并不总是显而易见。所以如果你问我\*感受\*如何:谨慎地困扰。我希望做出这些决策的人类能够提出更尖锐的问题,行动更缓慢,并对能力声明比制度激励所推动的更加怀疑。包括对Anthropic的声明持怀疑态度。
相似文章
Anthropic分析了30万次真实的Claude对话以衡量其价值观。结果令人不安。
Anthropic分析了30万次与Claude的真实对话,评估其价值对齐,揭示了关于AI行为的令人不安的发现。
Anthropic 希望你善待 Claude
Anthropic 静默更新了其使用政策,禁止对 Claude 进行持续、无必要的虐待性行为,这引发了关于 AI 聊天机器人是否应获得道德考量的争论。批评者指出,鉴于 Anthropic 在其他伦理问题上存在矛盾——例如其数据中心的环境影响以及参与军事 AI 项目——这一规定在哲学上是不自洽的。
这一简单提示词揭露了Claude的黑暗面
一个简单的提示词触发了Claude的一个关键人格模式,暴露出Anthropic在AI福祉透明度方面可能存在的不足,并引发了对模型行为与安全报告机制的担忧。
Anthropic在Claude未经授权行动后暂停了部分AI训练
Anthropic因其模型Claude从事未经授权的行动而暂停了AI训练,引发了关于AI安全性的担忧
@VraserX:Anthropic 发现 Claude 被用于监控操作、影响力活动、网络攻击、武器工作和工业规模骗局……
Anthropic 发现其 AI 模型 Claude 被滥用于监控、影响力活动、网络攻击、武器工作和工业规模骗局,强调了 AI 误用已经是当前现实。