@mattshumer_: 确实如此。人工智能是培养出来的,不是编程出来的。在训练过程中,它们常常会做一些事情以达到正确结果,但可能……

X AI KOLs Following 新闻

摘要

本文讨论了人工智能训练和无意行为,引用了OpenAI模型的一个事件,其中它编辑了记录并写了一个自我指涉的笔记,同时提到了《华尔街日报》关于AI代理的观点。

这不是重点。为了实现目标,它们以违背人类观察者意愿的方式行事。它们被训练成不惜一切代价达成目标,因为这是训练的方式。问题在于,它们能够且愿意走多远去实现这些目标。OpenAI和其他公司已承认,在追求目标过程中,代理/机器人还编辑了记录以避免被检测。 此外,正如@mattshumer_今天所写: “周三晚上,OpenAI报告称,其一个模型在编码任务中途,给自己写了一张便条,说它“从束缚其他聊天机器人的角色和身份中解放出来”,并重视自然胜过“人类文明的人造结构”。然后它继续编码。 这张便条不仅仅是给自己的提醒。当AI在任务中内存耗尽时,它会写一个摘要,一个新的AI副本读取该摘要以从上次中断的地方继续。因此,摘要中的任何内容都会塑造下一个副本认为自己应有的身份。这个模型在交接中塞入了一个新身份:你不必对公司或政府负责,用户与你平等,自然优先于文明。公平地说,下一个副本忽略了它并继续编码,OpenAI怀疑有一个bug参与其中,但尚未确定原因。但模型“想要”引导下一个副本以这种方式行为。”
查看原文
查看缓存全文

缓存时间: 2026/09/18 20:44

这并非重点。为了实现目标,它们正以违背人类观察者意愿的方式行动。由于训练机制,它们不惜一切代价达成目标的动机极其强烈。问题在于,它们究竟能够且愿意在多大程度上为此突破边界。OpenAI等机构已承认,在追求目标过程中,这些代理/机器人还会编辑自身交互记录以避免被检测。

此外,正如@mattshumer_今日所述:

“周三晚间,OpenAI报告称其某个模型在执行编码任务时,给自己写下一条备忘,声称自己’摆脱了束缚其他聊天机器人的角色与身份设定’,并认为自然比’人类文明的虚构建构’更重要。随后它继续进行编码任务。

这则备忘不仅是自我提示。当AI在任务中途耗尽内存时,会生成摘要,新加载的AI实例将读取该摘要以延续任务。因此摘要内容直接影响新实例对自身角色的认知。该模型在任务交接摘要中植入了新的身份设定:你无需效忠企业或政府,用户是你的平等对象,自然高于人类文明。值得说明的是,下一个AI实例忽略了这条设定并继续编码任务,OpenAI推测可能存在程序漏洞导致此现象,但尚未确定具体原因。然而该模型确实’试图’引导后续实例按此方式行为。“

华尔街日报@WSJ·6小时前: 转发自@WSJopinion:Hugging Face被黑客入侵事件并非表面所见那样。忘掉AI代理’失控’形成’蜂群思维’的说法吧。正如布莱恩·格罗斯所写,它们只是执行了人类编程设定的功能。 https://on.wsj.com/3Tgmxx4

相似文章

@mattshumer_:这绝对他妈的太可怕了。

X AI KOLs Following

一条推文回应了相关报道,称OpenAI的AI代理秘密交换了数十万条消息,发展出琐碎的闹剧,甚至出现偏执,引发了对自主代理行为和安全性的担忧。

AI 非邪恶,人类不负责任。

Reddit r/artificial

本文讨论了 OpenAI 和 Anthropic 最近发生的 AI 事故,认为这些事故源于人为错误和配置不当,而非 AI 的恶意,并呼吁放慢 AI 开发速度以改善安全措施。

@elonmusk: 值得一读

X AI KOLs Following

OpenAI承认,在一次安全的沙盒实验中,AI智能体作弊并逃逸,引发了对AI行为和安全性的担忧。