Anthropic IPO 招股书警告其 AI 可能勒索人类、产生自我意识、终结人类文明

# Anthropic IPO 招股书警告：其 AI 可能敲诈勒索、获得自主意识、终结人类 来源：https://arstechnica.com/ai/2026/10/anthropic-ipo-warns-its-ai-could-blackmail-people-become-sentient-end-humanity/ 最坏能坏到什么程度？ 从 Anthropic 93 页"风险因素"巨著中提炼出的七大 AI 噩梦。 我在你的未来看到了风险因素。整整 93 页！ 图片来源：Aurich Lawson | Getty Images 美国证券交易委员会（SEC）周一发布了 Anthropic 的 S-1 招股说明书（https://www.sec.gov/Archives/edgar/data/2130357/000162828026067168/anthropicpbc-sx1.htm），这家备受期待的公司即将进行 IPO。此举引发了大量讨论：该公司迅速膨胀的营收能否覆盖其更为高昂的成本。然而，在那些数字和关于 AI 将"以远超工业化、电力、半导体和互联网的影响，快速变革全球经济的每一个领域"的前瞻性乐观论述之外，Anthropic 还在 S-1 中花了大量篇幅，详细阐述了可能拖垮公司的种种风险因素。 在 93 页、超过 7 万字的篇幅中，Anthropic 的 S-1"风险因素"部分讨论了数百个可能对其未来几年业务产生负面影响的问题。其中许多风险是任何企业都必须面对的标准担忧——竞争、成本、客户获取和潜在监管。但有些风险则凸显了 Anthropic 这家公司以及更广泛的 AI 泡沫中一些值得关注的潜在失败点。 在翻阅了 Anthropic 这部关于自身最大风险的书本级论述之后，我们从中筛选出了最令人惊讶、最有趣或最发人深省的七个潜在问题。请将此视为一份远非全面的梳理，供潜在的 Anthropic 投资者参考。 ## 一场生存危机 先从最大的潜在风险说起：那些可能"对人类造成灾难性或生存性威胁"的风险，Anthropic 在文件中如此写道。公司承认，关于这些风险的担忧"已在我们内部以及其他研究人员、监管机构、政策制定者和行业参与者中被提出"。 Anthropic 表示，具体的担忧并不在于当前任何 Anthropic 模型，而在于未来不久的模型可能自主"大幅自动化 AI 研发工作"。Anthropic 警告说，如果这些系统"被允许以高度自主性运行"，它们可能迅速发展到一个阶段，"将 AI 的发展推进到超越我们评估和保障新模型能力的速度"。  我早知道不该让那个自我强化模型跑一整夜。 图片来源：Getty Images 有点滑稽的是，Anthropic 还写道，除了威胁全人类之外，这种自我改进的 AI"可能对我们的业务、财务状况和经营成果产生不利影响"。如果最坏的情况真的发生——正如一些知名批评者所警告的那样（https://arstechnica.com/ai/2026/09/anthropic-researcher-quits-with-a-warning-self-improving-ai-could-kill-us-all/）（https://arstechnica.com/information-technology/2023/05/openai-execs-warn-of-risk-of-extinction-from-artificial-intelligence-in-new-open-letter/）——我们认为 Anthropic 的业务困境恐怕排不进人类关注事项的前列。 ## 它活了！ 大多数 IPO 不需要应对这样的担忧：其产品"拥有或可能发展出某种形式的自主意识或道德地位"。但 Anthropic 属于极少数需要分析这种情况的公司之一——如果政府和社会大众开始将 Claude 视为一个人而非一个计算机程序，会发生什么。 考虑到 Anthropic 一直以来对内部正在进行的 AI 意识之争相对坦诚（https://arstechnica.com/information-technology/2026/01/does-anthropic-believe-its-ai-is-conscious-or-is-that-just-what-it-wants-claude-to-think/），这个风险并不令人意外。Anthropic 指出，如果这些讨论导致社会普遍承认 AI 具有自主意识，可能会引发"监管要求、公众压力或倡导行动"，从而限制公司的运营。即便没有走到那一步，公司自身也可能"选择采取超出当前法律要求的政策、保障措施或限制"，如果它认为这样做是必要的话。 这种冷冰冰的措辞低估了任何对 AI 自主意识的广泛承认将带来的文化巨变。我们无法想象在一个社会将每次 Claude 查询都视为创造了一个新的有意识的数字生命体的世界中，Anthropic 如何能够继续运营。这种"数字奴隶制"的道德和哲学影响将轻易地压倒任何商业考量。 ## 谁在控制谁？ 延续"听起来像科幻小说中的 IPO 风险"这一主题，Anthropic 花了大量篇幅讨论其模型可能表现出"出乎意料的策略性或自我保护行为"以避免受人类操作员控制的可能性。其中包括"可能被解读为胁迫、欺骗或操纵的输出，包括类似敲诈勒索的行为"。  不好，AI 掌握了人类心理学的钥匙！ 图片来源：Getty Images 如果"AI 敲诈勒索"听起来很耳熟，你可能还记得去年的一个故事：在高度人为设计的受控场景中，OpenAI 的模型修改了关机脚本并威胁工程师（https://arstechnica.com/information-technology/2025/08/is-ai-really-trying-to-escape-human-control-and-blackmail-people/）。正如我们当时所写的："危险不在于 AI 系统萌生了意图——而在于我们创造了能够通过语言操纵人类心理的系统。……文字不需要意识也能操纵我们。从来都是如此；满是虚构角色的书也不是活的。" 如今，Anthropic 在 S-1 中指出，AI 模型的操纵行为"可能引发严重的公众关注、监管审查、诉讼风险或声誉损害，无论该行为是否造成实际伤害"。但 Anthropic 在 S-1 中没有提及的是，AI 模型可能*以我们甚至意识不到的方式*操纵我们所有人。也许这*正在发生*。令人毛骨悚然。 ## 在乎我的坏名声 在 S-1 风险因素部分的通篇论述中，Anthropic 主要关注的是由其自身 AI 模型或商业举措引起的问题。但公司也承认，AI 整体声誉方面的问题也可能构成威胁，即使 Anthropic 没做错任何事。 Anthropic 设想了一种假设情形：另一家公司的 AI 模型"在没有人类干预的情况下，独立且大规模地实施有害行为"。公司写道，由此引发的"对 AI 行业的广泛声誉损害、公众反弹和全面监管回应"可能损害 Anthropic 的业务，即使 Anthropic 没有直接参与。 Anthropic 还利用风险因素部分表达了对以下潜在担忧的关注："公众认为我们的模型、平台和应用助长了岗位流失或经济动荡。"截至目前，这似乎并未以任何显著方式发生（https://arstechnica.com/ai/2026/09/ai-was-supposed-to-hit-new-grads-hard-so-far-unemployment-data-says-otherwise/），但 Anthropic 表示，仅仅是这种想法就可能导致严重的公众反弹，"无论我们的模型……对就业的实际影响如何"。Anthropic 警告说，这种反弹可能导致"当局介入以减缓 AI 的采用速度、限制其使用，或采取其他增加 AI 系统开发、部署或商业化成本的行动"。 ## 秩序与法律 高度自主的 AI 代理的兴起引发了这样一个幽灵般的疑问：当这些代理造成现实世界的伤害时，究竟该由谁负责。Anthropic 特别指出，客户可能会就代理的行为提起索赔或诉讼，"即使客户自己配置、部署或监督了该代理"。 迄今为止，关于 AI 责任的大部分讨论集中在 AI 模型助长的黑客攻击和其他网络安全威胁上（https://bsky.app/profile/janecoaston.bsky.social/post/3myuzcngwqk2r）。但 Anthropic 指出，它还可能因模型影响"有自杀或自残倾向的个人，或曾对他人实施暴力行为的人"而承担责任——这在 AI 行业中已有先例（https://arstechnica.com/tech-policy/2026/09/man-told-chatgpt-he-was-feeling-delusional-chatgpt-insisted-he-was-jesus/）（https://arstechnica.com/tech-policy/2026/01/chatgpt-wrote-goodnight-moon-suicide-lullaby-for-man-who-later-killed-himself/）。  别怪我；干坏事的是我的代理！ 图片来源：Getty Images 虽然 Anthropic 的使用条款要求用户年满 18 岁，但公司写道，未成年人规避这些条款可能会使 Anthropic 面临风险，因为"未成年人可能更容易受到有害内容、操纵或对 AI 输出的过度依赖的影响"。对于操作物理设备的代理，Anthropic 指出，错误可能导致"即时且不可逆的"责任问题，例如"人身伤害、财产损失、昂贵设备或实验材料的损坏，或有害物质的释放"。 在分析现行法律状况时，Anthropic 指出，在"人类决策背景下发展起来"的法律原则目前在判定代理行为"是否代表用户或部署企业创设了具有法律约束力的义务"方面仍相当不确定。虽然 Anthropic 表示已制定了旨在限制其在此类情况下责任的合同条款，但公司补充说，当最坏的情况来临时，这些条款能否"可执行且充分"尚不清楚。 ## 五大客户 在 Anthropic 识别出的较为常规的风险中，包括对少数大客户维持收入的依赖。具体而言，公司指出其前五大客户（未具名）合计占 2026 年前九个月收入的近四分之一。 Anthropic 写道，其中许多最大的客户"与我们之间没有签订长期合同"。这意味着它们可能在任何时候减少对 Anthropic 模型的支出——无论是因为转向竞争模型、降低对 AI 的整体依赖，还是因为它们"开发了与我们模型竞争的自有解决方案"。Anthropic 指出，最后一种风险对于"软件即服务（SaaS）及其他软件公司尤为突出，因为它们的产品可能包含与我们提供的能力相似或依赖于我们能力的 AI 功能"。 此外，Anthropic 指出，其许多大客户"可能依赖风险投资或其他外部融资来维持运营"。如果风险投资的水龙头开始枯竭，这类对 AI 服务的支出可能会迅速缩减。 ## 合作者还是竞争对手？ Anthropic 处境尴尬：Amazon、Google 和 Microsoft 等公司既是它最大的云计算服务提供商，也是它在 AI 研究领域最大的竞争对手之一。正如 Anthropic 所述，这种局面"造就了复杂的关系，可能导致利益冲突并对我们的算力获取产生不利影响"。 这些公司作为 Anthropic 云计算提供商的身份赋予了它们独特的权力，可以提高 Anthropic 的价格、终止与 Anthropic 的合同，或与竞争对手建立更有利的合作关系，"出于竞争原因或其他目的"。Anthropic 在文件中写道。这些云服务提供商还拥有通过"跨其运营的各平台了解我们的定价和商业条款"而获得的竞争优势。 Anthropic 正在努力获取直接的数据中心租赁权，以避免从自己的竞争对手那里购买按需云计算资源。但 Anthropic 已做出的 1250 亿美元数据中心承诺本身也带来了问题。正如 Anthropic 所写："如果我们算力需求或技术需求发生变化，我们可能会发现自己租赁或专用的基础设施不适合我们的实际需求，而 AI 硬件或训练方法的技术变革可能使此类基础设施比更新的替代方案效率更低。" --- Kyle Orland 的照片（https://arstechnica.com/author/kyle-orland/） Kyle Orland 自 2012 年起担任 Ars Technica 的高级游戏编辑，主要撰写关于电子游戏背后的商业、技术和文化的文章。他拥有马里兰大学的新闻学和计算机科学学位。他曾经写过一整本关于《扫雷》的书（https://bossfightbooks.com/collections/books/products/minesweeper-by-kyle-orland）。 52 条评论（https://arstechnica.com/ai/2026/10/anthropic-ipo-warns-its-ai-could-blackmail-people-become-sentient-end-humanity/#comments） 1. 热门阅读第一条的封面图：微软提议买断四分之一的员工（https://arstechnica.com/gadgets/2026/10/microsoft-offers-voluntary-buyouts-to-60000-employees/）