OpenAI 新推理技术令 AI 安全专家担忧

# OpenAI 新推理技术引发人工智能安全专家忧虑 | TechCrunch 来源：https://techcrunch.com/2026/09/02/openais-new-reasoning-technique-alarms-ai-safety-experts/ 据 The Information 报道（https://www.theinformation.com/articles/secret-technique-behind-openais-astra-model-sparks-security-concerns），OpenAI 的新型 Astra 模型将采用一种名为“循环深度”的推理技术，使其能够突破大多数推理模型所依赖的线性思维模式。该技术亦被称为“不透明循环”，很可能导致模型的思维链更难被监控——这一情况令人工智能安全专家深感不安。 尽管据报道 Astra 对该技术的使用仍有限制，但其出现已在人工智能安全领域引发重大担忧。 “对于报道中提到的 Astra 使用不透明循环技术，我感到极度忧虑，”Redwood 首席执行官 Buck Shlegeris 在消息传出后发文表示（https://x.com/bshlgrs/status/2094990313513439464?s=46&t=45_xAnRsdQP1GVqYv9Gdbw）。“目前尚不清楚 Astra 的思维链可监控性是否远低于之前的模型。但如果 OpenAI 进一步推广这项技术，他们将能够大幅增加循环深度，从而彻底破坏思维链的可监控性。” 长期关注人工智能安全的倡导者 Zvi Mowshowitz 也发表了看法（https://thezvi.substack.com/p/anthropic-has-some-alignment-problems?open=false#%C2%A7this-just-in），认为可能需要立法以防止人工智能实验室之间的“逐底竞争”。 Mowshowitz 写道：“这项技术如同玩火，可能危及 OpenAI 和 Anthropic 努力确立的一项准则——即我们应尽可能保持思维链的忠实性与可监控性。更密集地使用此类技术可能会损害可监控性。” 在正常情况下，推理模型的思维链展示了模型为解决问题所采取的逐步过程。尽管这种表达方式并不完美，但它仍是监控错误行为或不对齐现象的重要工具。例如，在近期 OpenAI 出现的“失控智能体”事件中，思维链记录成为厘清智能体行为原因的关键工具。 而在不透明循环技术中，模型采用一种更非线性的方式，在循环中多次处理同一查询。其结果留下的可读痕迹更少，实际上规避了传统的思维链记录。 关键在于，Astra 对该技术的使用似乎有限。该模型的思维链预计仍具可读性，公司也驳斥了任何关于将转向“神经语”的猜测。OpenAI 此前已宣布计划在其前瞻性的安全方案中部署广泛的思维链监控系统。 OpenAI 首席科学家 Jakub Pachocki 在 X 平台发文（https://x.com/merettm/status/2095023204993490967），强调了实验室对思维链可读性的承诺。Pachocki 表示：“OpenAI 自首个推理模型诞生以来，就一直致力于保留并利用思维链监控。这是我们当前研究计划的核心目标。” 尽管所有人工智能模型都进行一定程度的不透明推理，且很少有研究者将思维链日志直接视为模型推理的完整再现，但这些情况并未消除人们对不透明循环可能使人工智能推理更难监控的担忧——尤其是在不同模型中日益普及的背景下。据 The Information 在周三早间的后续报道，Anthropic 和 Google DeepMind 已在讨论此项技术。 Redwood Research 首席科学家 Ryan Greenblatt 在回应此消息的推文中（https://x.com/ryangreenblatt/status/2094996656186081642?s=46&t=45_xAnRsdQP1GVqYv9Gdbw）表示，不透明推理很可能比传统思维链推理更易规模化，最终将所有推理过程移出可见通道。 Greenblatt 写道：“我最大的担忧是，自然发展可能导致不透明推理被大规模采用，使模型完全或几乎完全在隐空间中进行推理。我希望现在避免最令人忧虑的架构还为时未晚，也希望 OpenAI 能适可而止。” *当您通过文章中的链接购买商品时，我们可能获得少量佣金（https://techcrunch.com/techcrunch-affiliate-monetization-standards/）。这不会影响我们的编辑独立性。* Russell Brandom 自 2012 年起从事科技行业报道，重点关注平台政策与新兴技术。他此前曾在 The Verge 和 Rest of World 工作，并为 Wired、The Awl 及麻省理工学院 Technology Review 撰稿。联系方式：[email protected] 或 Signal 账号 412-401-5489。 [查看个人简介](https://techcrunch.com/author/russell-brandom/)