智能体AI系统的治理实践
摘要
OpenAI发布了关于智能体AI系统治理的白皮书,提出了自主AI智能体的定义、生命周期责任和基础安全实践。该白皮书讨论了广泛采用智能体AI可能带来的风险和间接影响,同时推出了研究资助项目。
暂无内容
查看缓存全文
缓存时间: 2026/04/20 14:46
# 智能体AI系统的治理实践
来源:https://openai.com/index/practices-for-governing-agentic-ai-systems/
OpenAI
## 摘要
智能体AI系统——能够在有限直接监督下追求复杂目标的AI系统——如果我们能够负责任地将其整合到社会中,将具有广泛的实用价值。虽然这类系统具有帮助人们更高效、更有效地实现自身目标的巨大潜力,但它们也会产生伤害风险。在本白皮书中,我们提出了智能体AI系统的定义及其生命周期中的各方,并强调了就这些方的基线责任和安全最佳实践达成共识的重要性。作为我们的主要贡献,我们提供了初步的实践指南,以保持智能体运作的安全和问责,我们希望这些指南能够成为开发商定基线最佳实践的基础。我们列举了在实施这些实践的过程中必须解决的问题和不确定性,这些问题和不确定性必须在这些实践被编入规范前得到解决。随后,我们重点介绍了智能体AI系统广泛应用产生的间接影响的类别,这些影响可能需要额外的治理框架。
我们正在启动一项资助计划,向从事智能体AI系统影响研究及其安全实践的研究提供10,000至100,000美元的赠款。
该资助计划目前已关闭。
相似文章
为 AGI 及其未来做好准备
OpenAI 阐述了为 AGI 做准备的战略,强调通过真实世界反馈循环进行渐进式部署,随着系统接近 AGI 能力而提高谨慎程度,以及开发更好的对齐技术以确保 AI 系统保持可控和安全。
AI系统应该如何表现,谁应该做出决定?
OpenAI通过三个支柱阐述了其AI系统行为方案:改进默认行为、在社会界限内允许用户自定义,以及在默认设置和硬性限制上纳入公众意见。该公司强调避免权力集中,并计划试点更广泛的公众咨询,涉及系统行为和部署政策。
设计治理:构建面向组织学习与可扩展自主性的代理型人工智能
本文通过对一家大型IT服务公司2025年开发和部署代理型AI系统的定性案例研究,提炼出七条经验,旨在将治理嵌入系统架构与运营中,以平衡自主性与问责制。
OpenAI 安全实践
OpenAI 介绍了其积极采用并不断改进的 10 项安全实践,包括实证红队测试、对齐研究、滥用监控以及在首尔 AI 峰会上分享的自愿承诺。该公司强调采用均衡、科学的安全方法,将其融入开发的各个环节。
我们的原则
OpenAI 发布其 AGI 开发的核心原则,强调访问民主化、用户赋能、普遍繁荣以及应对 AI 风险的韧性。