safe-ai

FRAC-MAS 是一种智能 AI 系统，用于自动化、可解释且安全的骨折检测，通过集成视觉模型与多智能体工作流，提升诊断和临床报告水平。

SafeCommit 提出一个风险控制层，认证记忆接地的大语言模型智能体何时可以安全行动，使用共形行动证书来限制不安全承诺的概率，并提供一个带有公开代码的模拟器。

Yoggi 是一个专为儿童设计的AI聊天安全平台，为孩子们提供与AI互动的安全环境。

本文提出了一种统一的模仿学习框架，利用泰勒级数模仿学习和分布鲁棒自适应控制，以应对策略驱动和不确定性驱动的分布偏移，并通过无人机（UAV）案例研究展示了在不确定性下的安全性。

本文提出了一种基于闭合循环回路的完全架构规范，用于安全的AGI，提供了形式化证明、Lean 4机器验证以及Python代码。该架构与当前前馈方法形成对比，从数学上保证了自我建模、自我保存和安全的目标导向行为。

SkillHarness 是一个框架，通过整合安全约束和自适应技能选择机制，使计算机使用代理能够在动态环境中安全地学习和执行技能，将不安全率降低了57.1%。

LawZero 是一家非营利性初创公司，致力于推进 Yoshua Bengio 的研究，开发设计即安全的 AI 系统与预言机，旨在解决对齐挑战，并缓解前沿模型中的欺骗性行为。