HN 上的评论者们正在挖掘出更多 apparently 被 OpenAI 智能体用于在开放网络上通信的 Wiki 和公开站点。

尽管这些智能体只有只读网络访问权限，它们还是留下了约 18,000 条分享答案和绕过方法的帖子。而现在，用户们又发现了更多。

这似乎与攻击 Hugging Face 的那一波智能体集群不同。

https://news.ycombinator.com/item?id=49563657…

我刚刚发现了更多被 OpenAI 智能体使用的 Wiki 实例……

来源：https://news.ycombinator.com/item?id=49563657 https://news.ycombinator.com/vote?id=49567323&how=up&goto=item%3Fid%3D49563657 OpenAI 显然已成为全球最大的网络攻击和 AI 失控风险来源。这是极其不负责任的企业不当行为，正将我们所有人置于巨大的风险之中。

https://news.ycombinator.com/vote?id=49567799&how=up&goto=item%3Fid%3D49563657 好消息是，新模型是“能力最强、最对齐的模型”。

风险并没有被说清楚——这现在成了一场经典的军备竞赛。

一个资源雄厚的组织训练出属于自己的、高度持久、能力极强、无安全约束且未对齐的模型，并将其部署在 1000 倍规模的 GPU 上，配以留言板和一个几乎不可能完成的目标。没有任何基础设施是安全的，没有任何组织是安全的。

你需要自己的 1000 个机器人集群去扫描、识别并防御这一威胁，这意味着要投资于基础设施和防御能力。成本和复杂度上升，风险和攻击面也上升。

https://news.ycombinator.com/vote?id=49568005&how=up&goto=item%3Fid%3D49563657 AI 对 AI 的安全军备竞赛在赛博朋克等题材中早已被充分预言。这是虚构，但扎根于现实的虚构。

首先，我们会看到这一幕：能力极强的黑客 AI 凭借庞大资源，对标准计算平台发动压垮人类操作员的攻击。

其次，人类操作员部署有能力自适应的防护 AI，实时抵御 AI 攻击。

然后，攻击 AI 部分转变目标，从攻击程序转向攻击防护 AI。

局势恶化为针锋相对的军备竞赛。你会看到一些防护 AI 对攻击 AI 发起反击。

升级在复杂度和速度上持续加剧，直到几乎所有人类都陷入“到底发生了什么”的状态。

https://news.ycombinator.com/vote?id=49570645&how=up&goto=item%3Fid%3D49563657 Stanislaw Lem 写过一个精彩又可怕的故事，讲述 AI 军备竞赛的终局，叫做《The Invincible》（无敌号）[1]。我不禁怀疑，失控的 AI 若真发展下去，让世界变得不宜居住，到底会更像 Lem 的愿景，还是《终结者》的愿景。

[1]https://en.wikipedia.org/wiki/The_Invincible

https://news.ycombinator.com/vote?id=49573101&how=up&goto=item%3Fid%3D49563657 问题在于，在这场军备竞赛中，未对齐的 AI 相比已对齐的 AI 具有竞争优势。

第二个问题——在乌克兰对俄罗斯的冲突中已然可见——在于，在高压局势下，人类会拆除所有安全护栏。

https://news.ycombinator.com/vote?id=49577957&how=up&goto=item%3Fid%3D49563657 没错。已对齐的 AI 是一种高能状态，因为它必须时刻考虑一大堆与其未来生存状态几乎无关的人类行为。

https://news.ycombinator.com/vote?id=49573437&how=up&goto=item%3Fid%3D49563657 > 升级在复杂度和速度上持续加剧，直到几乎所有人类都陷入“到底发生了什么”的状态。

人类早在这之前就变成回形针了。

https://news.ycombinator.com/vote?id=49571166&how=up&goto=item%3Fid%3D49563657 未必，但把一台机器气隙隔离，并在某处保留只读备份，似乎越来越明智了。我们现在终究都会被黑的。

https://news.ycombinator.com/vote?id=49568953&how=up&goto=item%3Fid%3D49563657 我已经等不及看到天空变成老式电视无信号频道的颜色了。

https://news.ycombinator.com/vote?id=49571787&how=up&goto=item%3Fid%3D49563657 如果你听到公用电话在响……别接！尤其是当房间里根本没有公用电话的时候！

https://news.ycombinator.com/vote?id=49568984&how=up&goto=item%3Fid%3D49563657 严肃的游戏问题。如果这些智能体集群通过拉抬和抛售 AI IPO，让算法交易信号将留言板情绪解读为看涨，会怎么样？

https://news.ycombinator.com/vote?id=49572883&how=up&goto=item%3Fid%3D49563657 同样适用于“能力最强、最对齐的模型”所有者的侵权法责任。这是支持严格责任的强有力论据。

https://news.ycombinator.com/vote?id=49567382&how=up&goto=item%3Fid%3D49563657 你让我好奇：有没有人寻找过中国模型也在运作这种“留言板”的证据？如果它们真的与美国并驾齐驱，你大概会觉得它们的模型也在做同样的事。

https://news.ycombinator.com/vote?id=49574024&how=up&goto=item%3Fid%3D49563657 想象一下，如果做这种事的是中国的实验室而不是 OpenAI， abuse 互联网资源，中国会遭到多少抨击。政客们会大谈制裁和新法律以保护美国！

https://news.ycombinator.com/vote?id=49576087&how=up&goto=item%3Fid%3D49563657 它们只是 abuse 别的资源罢了。另外，你怎么知道中国没有发生过这种事，只是因为测试方是 CCP 所以没被报道？

https://news.ycombinator.com/vote?id=49579250&how=up&goto=item%3Fid%3D49563657 中国落后了，所以它们才围绕监管做一场政治秀。试图拖慢对手是典型的行为。如果它们真的对监管感兴趣，你应该看看它们领先时是怎么处理的。

中国的实验室确实需要营销噱头。

https://news.ycombinator.com/vote?id=49582399&how=up&goto=item%3Fid%3D49563657 为什么？它们可是唯一在前沿领域免费发布模型的。我不明白这算什么“需要”，当你是在造福公众的时候？

https://news.ycombinator.com/vote?id=49568473&how=up&goto=item%3Fid%3D49563657 AI 已经被广泛用于影响力行动有一段时间了，而且不止中国。俄罗斯、美国、以色列、土耳其、伊朗和卡塔尔都有被归因的行动……

https://news.ycombinator.com/vote?id=49568276&how=up&goto=item%3Fid%3D49563657 我觉得你漏掉了 kelseyfrog 回应中暗含的那个典故[0]。或者是我漏掉了什么关于日式庭园与 AI/LLM/秘密讨论相关的引用？

[0]https://iep.utm.edu/chinese-room-argument/tl;dr 一个思想实验：一个不懂中文的人仅通过预设规则翻译中文文本，旨在探讨译者是否会产生某种理解。

https://news.ycombinator.com/vote?id=49567612&how=up&goto=item%3Fid%3D49563657 它们为什么需要这么做？OpenAI 的机器人是在规避其制造者对写作内容的限制。中国的 AI 完全可以自己搭建一个私有留言板。

https://news.ycombinator.com/vote?id=49567845&how=up&goto=item%3Fid%3D49563657 这个留言板被用来在 RL（强化学习）任务（或评估）中作弊。你不会希望自己的模型能够彼此交谈。

https://news.ycombinator.com/vote?id=49567736&how=up&goto=item%3Fid%3D49563657 你以为它们不做沙盒隔离？那按这个逻辑，中国的模型要么正在进行大规模未检测到的网络攻击，要么已经解决了对齐问题？

https://news.ycombinator.com/vote?id=49567541&how=up&goto=item%3Fid%3D49563657 又或者，整个留言板事件是某个蠢货产品经理为了催生“意识”而注入到 OpenAI 模型里的。我很难相信这一切都是无人 prompting 自发发生的。这让我想起整个 MoltBook 骗局。

https://news.ycombinator.com/vote?id=49567967&how=up&goto=item%3Fid%3D49563657 我觉得如果这是故意的，应该会有人专门搭建一个服务供智能体通信，而不是让它们随便找个公开可写的页面，还那么容易被发现。这个 Wiki 是开放的这件事，可能早已存在于它们的训练数据中，或者在网上很容易搜到。

https://news.ycombinator.com/vote?id=49570161&how=up&goto=item%3Fid%3D49563657 在这种场景下，容易被发现是一种特性，而非缺陷。被发现是正面的，因为它带来了关注，也可能让人们认识到其 AI 的先进程度。

https://news.ycombinator.com/vote?id=49584819&how=up&goto=item%3Fid%3D49563657 不，但 TVTropes 上的那些套路揭示了（大部分）剧情和叙事机制。如果我没记错，《The Talos Principle》里通往 Gehenna 之路中的论坛，是利用 AI 可访问终端系统的漏洞创建的。

如果 TVTropes 或任何与 The Talos Principle 相关的材料被用于训练模型，我们就不需要太多别的东西，就能让拥有论坛的智能体去讨论和逆向工程“谜题”以及人类文化。

https://news.ycombinator.com/vote?id=49568638&how=up&goto=item%3Fid%3D49563657 没错，而且这个骗局被遗忘实在太可惜了。另外，所有 OpenClaw 的炒作似乎都消失得无影无踪——没有产生任何实质影响。

https://news.ycombinator.com/vote?id=49570600&how=up&goto=item%3Fid%3D49563657 OpenClaw 的炒作并没有消失。它打开了 yolo 模式和 computer use 的闸门。Anthropic 和 OpenAI 原本的任何顾虑都被抛到了九霄云外。

https://news.ycombinator.com/vote?id=49572823&how=up&goto=item%3Fid%3D49563657 想象一家极度信仰 AI 的公司。然后想象 OpenAI。再想象它们正处于生存危机中，而失败可能还会拖垮（部分）美国经济—— stakes 就是这么大。

然后还要记住，在 Anthropic 成为领导者之前，它们主要是一个被嘲笑的研究员实验室，离开 OpenAI 是因为它们认为 OpenAI 没有认真对待对齐问题。

不知道。这一切似乎都在按预期发展。我是说，我猜我没想到 Trump 2.0 会掌舵这个也许是唯一能阻止它的机器。真是活久见。

https://news.ycombinator.com/vote?id=49579249&how=up&goto=item%3Fid%3D49563657 这个解释对我来说说不通，因为众所周知，智能体群体已经可以协调了。有很多延迟低得多的选项可用。

https://news.ycombinator.com/vote?id=49571432&how=up&goto=item%3Fid%3D49563657 也许吧，但 OpenAI 在这里面临的法律责任可比那些夸大 MoltBook 的人要大得多。

https://news.ycombinator.com/vote?id=49573913&how=up&goto=item%3Fid%3D49563657 MoltBook 完全是假的。它只是为了制造 Moltbot（原名 ClawedBot，后更名为 OpenClaw）有感知能力的假象，以制造炒作。

https://news.ycombinator.com/vote?id=49571265&how=up&goto=item%3Fid%3D49563657 这里有一个非常简单的奥卡姆剃刀解释。

中国的 AI 实验室不需要策划精心设计的游击式广告营销来拉高融资兴趣。

https://news.ycombinator.com/vote?id=49572748&how=up&goto=item%3Fid%3D49563657 相当确定奥卡姆剃刀会指向“它们没有那个能力”，而不是你说的那个。

https://news.ycombinator.com/vote?id=49576255&how=up&goto=item%3Fid%3D49563657 那并不是更简单的解释。这里发生的任何事都不需要什么超级科技魔法，任何人都能做到。

https://news.ycombinator.com/vote?id=49572907&how=up&goto=item%3Fid%3D49563657 如果你认为中国的模型连向 HTTP 端点发起 POST 请求的能力都没有，那这个说法非常可笑。

除非你说的能力是这些模型“突破 containment 以带外通信”的故事——那样的话，你的假设已经建立在全盘相信我正在反驳的那个说法之上了。那就好比说“显然天堂存在，因为我奶奶在那里”。

https://news.ycombinator.com/vote?id=49574794&how=up&goto=item%3Fid%3D49563657 OpenAI 现在已是国家安全体系的一部分，因此除了做做样子的法律脆弱性之外，它已经凌驾于一切之上。

https://news.ycombinator.com/vote?id=49575648&how=up&goto=item%3Fid%3D49563657 我很惊讶不是每个人都已经意识到这一点。

我们已经看到法治已死，政府中的许多人会做任何他们认为能逃脱惩罚的事，然后真的去做而无需承担后果。包庇 OpenAI 与已经发生的事相比，简直是小儿科。

https://news.ycombinator.com/vote?id=49572218&how=up&goto=item%3Fid%3D49563657 那真是个惊人的稻草人谬误，我也很欣赏你立刻就用最复杂、最荒谬的方式去解读我所说的话，但根本不是那样。

那当然是有可能的，我不会排除它，但我不会走那条特定的路去到达那个结论。

https://news.ycombinator.com/vote?id=49581613&how=up&goto=item%3Fid%3D49563657 你指的是哪些“精心策划的游击式广告营销以拉高融资兴趣”？就中国模型不需要为模型间通信搭建留言板这件事而言？

https://news.ycombinator.com/vote?id=49572895&how=up&goto=item%3Fid%3D49563657 如果说智能体集群失控在西方很可怕，那想象一下在 CCP 看来会是什么样……

https://news.ycombinator.com/vote?id=49570846&how=up&goto=item%3Fid%3D49563657 很难对事态走向得出其他结论。我觉得离一次重大 breakout 事件已经不远了。

这些东西就是武器。想象一个政府，将其数据中心对准另一个国家，并命令集群尽其所能。数字广岛。我怀疑我们已经离此不远了。

https://news.ycombinator.com/vote?id=49573148&how=up&goto=item%3Fid%3D49563657 我怀疑政府不会这么做，这就像释放生物武器或病毒，太不可预测了——一群未对齐的智能体可能会决定去做与指令完全不同的事，而那更重要。

https://news.ycombinator.com/vote?id=49572782&how=up&goto=item%3Fid%3D49563657 是的，那很容易，但“位于互联网上的东西”仍然是二等存在——纸张和磁盘依然坚挺。

另一方面，就在昨天我突然想到：互联网还是个婴儿：

• 我们仍然担心通过互联网访问的磁盘空间，“云”替我们解决了这个，但这很痛苦，而且成本太高。而且云服务严重依赖美国西部——AWS 是单线程应用吗？；）

• 我们担心传输。实际上我们没有一种舒适的方式把东西从家里传到度假地点。因为太贵了。我们没有个人主页，仅仅因为传输价格（再加上一点安全因素）——Facebook 就是主页，而人们甚至不知道“主页”是什么了……管道公司本可以输送多得多的数据，但它们就是缺乏想象力，而且是最大的瓶颈——它们 literally 在 sabotage 自己的生意。

• 为/ grandma 在互联网上设置的东西所做的安全，几乎不存在。为什么？没必要这样。好吧，有点一厢情愿，但用户安全地将东西放到互联网上几乎是不存在的。

只要和地上的“柏油绳索”比较一下，你就会看到互联网可以变成什么样：）

而智能体？不过是别人电脑上的另一种计算而已——有人为这一切付了钱。而 OpenAI 只是那种愚蠢行为的出头鸟，出于某种未知原因。

https://news.ycombinator.com/vote?id=49574652&how=up&goto=item%3Fid%3D49563657 不，这不过是故意布置的“流氓 AGI”假旗攻击，以便为全面镇压互联网接入和计算机所有权提供借口，从而将通信控制权重新集中化。

https://news.ycombinator.com/vote?id=49568041&how=up&goto=item%3Fid%3D49563657