智能体AI系统的治理实践

OpenAI Blog 论文

摘要

OpenAI发布了关于智能体AI系统治理的白皮书,提出了自主AI智能体的定义、生命周期责任和基础安全实践。该白皮书讨论了广泛采用智能体AI可能带来的风险和间接影响,同时推出了研究资助项目。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/04/20 14:46

# 智能体AI系统的治理实践 来源:https://openai.com/index/practices-for-governing-agentic-ai-systems/ OpenAI ## 摘要 智能体AI系统——能够在有限直接监督下追求复杂目标的AI系统——如果我们能够负责任地将其整合到社会中,将具有广泛的实用价值。虽然这类系统具有帮助人们更高效、更有效地实现自身目标的巨大潜力,但它们也会产生伤害风险。在本白皮书中,我们提出了智能体AI系统的定义及其生命周期中的各方,并强调了就这些方的基线责任和安全最佳实践达成共识的重要性。作为我们的主要贡献,我们提供了初步的实践指南,以保持智能体运作的安全和问责,我们希望这些指南能够成为开发商定基线最佳实践的基础。我们列举了在实施这些实践的过程中必须解决的问题和不确定性,这些问题和不确定性必须在这些实践被编入规范前得到解决。随后,我们重点介绍了智能体AI系统广泛应用产生的间接影响的类别,这些影响可能需要额外的治理框架。 我们正在启动一项资助计划,向从事智能体AI系统影响研究及其安全实践的研究提供10,000至100,000美元的赠款。 该资助计划目前已关闭。

相似文章

为 AGI 及其未来做好准备

OpenAI Blog

OpenAI 阐述了为 AGI 做准备的战略,强调通过真实世界反馈循环进行渐进式部署,随着系统接近 AGI 能力而提高谨慎程度,以及开发更好的对齐技术以确保 AI 系统保持可控和安全。

AI系统应该如何表现,谁应该做出决定?

OpenAI Blog

OpenAI通过三个支柱阐述了其AI系统行为方案:改进默认行为、在社会界限内允许用户自定义,以及在默认设置和硬性限制上纳入公众意见。该公司强调避免权力集中,并计划试点更广泛的公众咨询,涉及系统行为和部署政策。

OpenAI 安全实践

OpenAI Blog

OpenAI 介绍了其积极采用并不断改进的 10 项安全实践,包括实证红队测试、对齐研究、滥用监控以及在首尔 AI 峰会上分享的自愿承诺。该公司强调采用均衡、科学的安全方法,将其融入开发的各个环节。

我们的原则

OpenAI Blog

OpenAI 发布其 AGI 开发的核心原则,强调访问民主化、用户赋能、普遍繁荣以及应对 AI 风险的韧性。