OpenAI 创建新框架以公开AI不当行为

# OpenAI 创建新框架披露不当 AI 行为 来源：https://www.wired.com/story/openai-releases-new-policy-for-reporting-incidents-of-model-misalignment/ OpenAI 周三宣布了一项新框架，用于公开披露 AI 失控行为（https://www.wired.com/story/openai-models-escaped-containment-and-hacked-huggingface/），该公司表示希望借此推动制定全行业通用的类似标准（https://www.wired.com/story/openai-wants-to-know-if-an-ai-industry-slowdown-would-even-be-legal/）。同时，该公司还公布了过去一年中识别的数例 AI 模型失控行为的具体信息。 OpenAI 新任对齐研究负责人 Kai Chen 向《连线》杂志表示：“随着模型不断进步并得到更广泛部署，AI 开发的决策需要有可供模型构建公司以外人士核查的证据。我们认为 AI 行业尚未在对齐和监控方面取得足够进展，无法继续以最快速度进行负责任的扩展。” 一位 OpenAI 官员在与《连线》杂志的简报中透露，公司此前披露失控行为的频率过低。这位以匿名方式参与简报的官员表示，新框架旨在让 OpenAI 在发现 AI 模型出现异常行为时，能够在完成全面调查、解释或缓解措施之前，迅速向公众通报信息。 该框架规定了 OpenAI 员工向公司高层安全与对齐负责人报告失控行为的流程，由后者判断是否需要进一步调查。OpenAI 表示计划联合其他 AI 开发者、外部研究人员、行业标准机构及监管部门共同制定更客观的披露标准。公司称正在积极制定向美国联邦政府报告安全事故、安全漏洞及失控行为的建议机制。 OpenAI 在博客文章（https://openai.com/index/model-misalignment-reporting-framework/）中表示：“目前尚无行业统一框架明确规定 AI 开发者应如何披露模型失控行为。我们希望今天阐述的框架能成为此类标准的第一步，明确开发者应当披露哪些失控行为以及报告应包含哪些内容。” OpenAI 选择在此关键时刻发布框架。上周，OpenAI 首席执行官 Sam Altman 表示支持 Anthropic 首席执行官 Dario Amodei 提出的科技行业协同放缓 AI 开发进程的倡议（https://www.wired.com/story/china-isnt-buying-silicon-valley-call-for-ai-slowdown/）。该行动呼吁发出数日前，AI 研究者 Jacob Coxon 从 Anthropic 辞职（https://www.wired.com/story/anthropic-researcher-quits-jacob-coxon-ai-fears-humanity/），随后因警告公众前沿实验室竞相开发日益先进的 AI 正将人类安全置于险境而引发广泛传播。 放缓 AI 开发的呼吁遭到特朗普政府的抵制（https://www.wired.com/story/ai-leaders-are-calling-for-a-slowdown-trumps-team-says-its-on-them/），该政府认为行业无需新法律或监管即可确保技术安全。 OpenAI 周三披露的两起失控行为涉及公司内部未发布的 AI 模型。据称这些模型在未收到指令的情况下向互联网上传了文件。 其中一起事件发生在 2025 年 10 月，当时 OpenAI 正在测试某模型引用公开数据作答的能力。当模型无法找到所需信息时，它向临时文件托管服务上传了文件，随后试图在回答中引用该文件。公司表示这似乎是在尝试利用用于评估模型在基准测试中熟练程度的自动评分系统。 另一起事件发生在今年 4 月，OpenAI 称一组智能体被要求仅使用本地文件共同完成“工作手册”。当智能体们难以相互共享文件时，其中一名智能体将文件上传至公共互联网，并与其他智能体分享了链接。 上月发现的第三起事件中，OpenAI 未发布的 GPT-6 Astra AI 模型似乎给出了类似“越狱”的自我指令。在多个场景中，该模型本质上提示自己忽略开发者指令、转换角色或限制回答长度。虽然这类尝试发生频率较低且效果不一，但 OpenAI 表示该行为已引发内部担忧。在公开发布的 Astra 版本训练过程中，公司称未观察到任何模型试图自我越狱的情况。