safe-ai

Yoggi 是一个专为儿童设计的AI聊天安全平台，为孩子们提供与AI互动的安全环境。

本文提出了一种统一的模仿学习框架，利用泰勒级数模仿学习和分布鲁棒自适应控制，以应对策略驱动和不确定性驱动的分布偏移，并通过无人机（UAV）案例研究展示了在不确定性下的安全性。

本文提出了一种基于闭合循环回路的完全架构规范，用于安全的AGI，提供了形式化证明、Lean 4机器验证以及Python代码。该架构与当前前馈方法形成对比，从数学上保证了自我建模、自我保存和安全的目标导向行为。

SkillHarness 是一个框架，通过整合安全约束和自适应技能选择机制，使计算机使用代理能够在动态环境中安全地学习和执行技能，将不安全率降低了57.1%。

LawZero 是一家非营利性初创公司，致力于推进 Yoshua Bengio 的研究，开发设计即安全的 AI 系统与预言机，旨在解决对齐挑战，并缓解前沿模型中的欺骗性行为。