标签
文档基金会已撤销约30名与Collabora相关的开发人员的会员资格,此举促使Collabora宣布启动一个新的差异化办公软件套件项目。这一决定在LibreOffice社区内引发了关于治理结构和权力博弈的争议。
文章认为,提高AI代理的能力并不会自然而然地提升其可靠性,强调需要建立类似会计标准的稳健控制系统、审计和人类监督,以防止令人信服的失败。
两名南非内政部官员因一份关于公民身份和移民的关键政策文件中被发现含有AI生成的“幻觉”内容而被停职,凸显了政府在未受监管的情况下使用AI所带来的风险。
一位一线工程师指出 Agent Governance 被严重忽视,却关乎生产环境 AI Agent 的成败,并分享了一篇梳理 5 层治理栈的文章。
AEGIS 是一个拟议的开放框架,用于构建集体治理、分布式的 AI 网络防御体系,以应对新兴的自主漏洞发现威胁;该威胁由 Anthropic 尚未发布的 Claude Mythos 模型触发,该模型一次性挖掘出大量零日漏洞。
这篇博客文章主张,良好的软件架构应当是不言自明且毫无阻力的,倡导采用 Netflix/Spotify 式的“铺平道路”模式,而非依赖强制性的治理委员会或嵌入式架构师。
对生产AI系统中一种反复出现的失败模式的分析:技术上正确的决策因底层假设发生偏移而变得语境上错误。这被称为“形式化陷阱”,即意义被锁定在过时的结构中。
# OpenAI's Raising Concerns Policy Source: [https://openai.com/index/openai-raising-concerns-policy/](https://openai.com/index/openai-raising-concerns-policy/) OpenAI 我们正在发布我们的 Raising Concerns Policy,该政策保护员工进行受保护披露的权利。我们相信关于AI的严格辩论对于确保AI安全并惠及尽可能多的人至关重要,因此OpenAI制定了Raising Concerns Policy。该政策保护员工提出问题的权利,
OpenAI 已完成资本重组,建立了 OpenAI Foundation 作为非营利实体来控制营利性业务,该基金会拥有约 1300 亿美元的权益,使其能够在医疗健康突破和人工智能韧性方面实现 250 亿美元的慈善承诺,同时保持以使命为中心的治理。
# OpenAI 非营利组织与公共利益公司声明 来源:[https://openai.com/index/statement-on-openai-nonprofit-and-pbc/](https://openai.com/index/statement-on-openai-nonprofit-and-pbc/) OpenAIOpenAI 的计划演进将看到现有的 OpenAI 非营利组织既控制一个公共利益公司 (PBC),又直接分享其成功。OpenAI 以非营利组织的身份成立,至今仍然是,并将继续是——非营利组织掌握指导我们未来的权力。[如之前所宣布的
OpenAI 董事会发布声明,确认了独立非营利委员会报告的调查结果。该报告评估了该组织的慈善举措和长期影响战略。董事会承诺利用委员会的建议来改进其非营利运营和使命对齐。
OpenAI 发布了更新的安全防护框架,更加聚焦于高风险 AI 能力,引入了更清晰的风险优先级标准,以及针对自主复制和隐瞒等新兴威胁的研究类别,同时保留了针对生物、化学和网络安全能力等已有的追踪类别。
# 新委员会为OpenAI打造世界最强大的非营利组织提供指导 来源:[https://openai.com/index/nonprofit-commission-guidance/](https://openai.com/index/nonprofit-commission-guidance/) OpenAI已经是一家非营利组织,并且已经在利用AI帮助人们解决难题。OpenAI的目标是打造世界上装备最完善的非营利组织——将潜在的历史性财政资源与更加强大的力量相结合:能够扩展人类智慧的技术。
DeepMind 发布了更新的前沿安全框架(v2.0),为前沿 AI 模型配备了更强的安全协议,包括新的关键能力等级(CCL)安全建议和加强的欺骗性对齐风险防护方法。该框架旨在防止模型权重的未授权泄露,并管理 AI 系统变得更加强大时带来的风险。
OpenAI 任命 Scott Schools 为首席合规官,以加强治理体系,应对不断演变的人工智能监管环境,同时推进负责任的 AI 开发。
OpenAI 宣布成立由 Zico Kolter 担任主席的独立董事会安全和安保委员会,该委员会有权监督并根据安全顾虑延迟模型发布。公司还为模型开发和部署引入了集成的安全和安保框架,重组团队以加强研究、安全和政策功能之间的协作。
卡内基梅隆大学机器学习系教授兼系主任 Zico Kolter 已加入 OpenAI 董事会及董事会安全与安保委员会。他在 AI 安全、对齐和鲁棒性方面的专业知识将为 OpenAI 的治理和关键安全决策做出贡献。
OpenAI 董事会已成立安全与安保委员会,由 Bret Taylor 领导,负责监督公司在训练下一代前沿模型时的关键安全与安保决策。该委员会将在 90 天内评估并制定 OpenAI 的安全流程和保障措施,随后向全体董事会报告建议,并向公众披露。
OpenAI发布了关于智能体AI系统治理的白皮书,提出了自主AI智能体的定义、生命周期责任和基础安全实践。该白皮书讨论了广泛采用智能体AI可能带来的风险和间接影响,同时推出了研究资助项目。
OpenAI 公布了其应对前沿 AI 风险的方案细节,并宣布了在 2023 年 7 月自愿承诺的安全措施取得的进展,包括发布 DALL-E 3 系统卡和开发新的准备框架以管理先进 AI 系统可能带来的灾难性风险。