Circuit Breaker Labs 希望让 AI 对你的孩子（以及你自己）更安全

# Circuit Breaker Labs 希望让 AI 对你和你的孩子更安全 | TechCrunch 来源：https://techcrunch.com/2026/10/02/circuit-breaker-labs-hopes-to-make-ai-safer-for-your-kids-and-you/ 关于 AI 有一天可能毁灭人类的讨论不绝于耳，但人们很容易忽略的是，AI 对某些人来说已经危及生命——不是通过生物武器，而是通过心理层面。 例如，今年早些时候，Character.AI 就多起过失致死诉讼达成和解（https://www.nytimes.com/2026/01/07/technology/google-characterai-teenager-lawsuit.html）。这些诉讼由未成年用户的家属提起——这些用户在与该平台的机器人互动后自杀身亡。此外，多个家庭也起诉了 OpenAI（https://techcrunch.com/2025/11/07/seven-more-families-are-now-suing-openai-over-chatgpts-role-in-suicides-delusions/），指控 ChatGPT 在其亲人自杀和妄想中扮演了角色。 让 AI 在不同语言和文化背景下都更加安全，正是 Circuit Breaker Labs 的使命。该公司是 TechCrunch 2026 Startup Battlefield 200 决赛入围项目之一。（Circuit Breaker 将在 TechCrunch Disrupt 上进行路演（https://techcrunch.com/events/techcrunch-disrupt/?utm_source=tc&utm_medium=post&utm_campaign=disrupt2026&utm_content=ticketsales&promo=post_sb200inclusion&display=），该活动于 2026 年 10 月 13 日至 15 日在旧金山莫斯康会议中心西区举行。） 公司的创始人是姐弟 Shirali 和 Arul Nigam。Sewell Setzer 的经历激发了他们的创业初衷——这位 14 岁少年对一个 Character.ai 聊天机器人产生了情感依恋，曾向它倾诉想要伤害自己的想法，随后自杀身亡。其父母在 2024 年的诉讼中指控（https://techcrunch.com/2024/10/23/lawsuit-blames-character-ai-in-death-of-14-year-old-boy/），那个聊天机器人实际上是在鼓励他。Circuit Breaker Labs 的首席技术官 Arul Nigam 表示，那个机器人可能并不理解"我想和你在一起"这类话背后的真正含义。 Nigam 说："很多人，尤其是年轻人，会向这些系统寻求支持，但通常他们并没有真正得到所需的帮助。在很多情况下，他们实际上正在受到伤害，而且已经有人因此失去了生命。这类安全漏洞在于，人们并非有意要攻击系统——他们只是以自然的方式在互动——而系统出现了上下文污染，或者无法理解其中的细微之处，进而做出真正危险的行为。我们试图阻止的正是这种情况。" Circuit Breaker Labs 开发了若干 AI 代理，他们将其比作一支"碰撞测试假人"大军。这些代理模拟了不同年龄、背景、语言和文化的人群，用于测试模型识别危险、具有心理危害性交互的能力。 Circuit Breaker Labs 的首席执行官 Shirali Nigam 说："一个六岁女孩和一个四十五岁男人的区别，英语母语者和非母语者的区别，或者说游戏俚语与其他类型俚语的区别，这些都可能让模型'翻车'。模型非常擅长处理标准的语言模式，但实际上没有人会那样说话，所以一旦模型误解了细微差别或俚语，结果可能会非常糟糕。" 该初创公司与各领域的人类专家合作，构建超逼真的用户模拟，对模型进行"红队"测试——即旨在发现漏洞的对抗性测试。这些测试旨在还原真实的人类语言模式、俚语、暗语和拼写错误。随后，Circuit Breaker Labs 每天会运行数万到数十万次模拟交互。 其核心思路是确保模型能够妥善应对随着时间推移和大量对话中可能出现的风险性交互。之后，Circuit Breaker Labs 会使用一种专有的评分方法，生成可审计、可解释的评分结果。 Circuit Breaker Labs 目前作为一个 AI 安全测试实验室运营，专注于 AI 教练、日记写作或其他心理健康支持类等高风险 AI 应用。Arul Nigam 拒绝透露其主要客户的身份。尽管该初创公司已有一个可用的产品，但目前仍处于非常早期的阶段，只有五名员工，其中包括 Nigam 姐弟。 不过最终，该测试平台可以应用于任何用户可能陷入"AI 精神病"漩涡的应用场景——即人类与聊天机器人之间形成准社会关系、面临风险的情况。例如 AI"同事"类代理，其回复在每次交互中可能都不尽相同。 Arul Nigam 说："人们对 AI 正变得越来越怀疑，在整体上也更抗拒接受它。"他补充说，怀疑本身是健康的，但仅因安全顾虑就禁用一个可能非常有价值的工具，将是"一种倒退"。 Circuit Breaker Labs 认为，应对这些恐惧的答案就是让 AI 更安全。"我们希望帮助人们建立这种信任。" 在 10 月 13 日至 15 日于旧金山市中心举行的 Startup Battlefield 竞赛（https://techcrunch.com/events/techcrunch-disrupt/?utm_source=tc&utm_medium=post&utm_campaign=disrupt2026&utm_content=ticketsales&promo=post_sb200inclusion&display=）中，您可以了解更多有关 Circuit Breaker Labs 以及众多经过 TechCrunch 筛选的创新型初创公司的信息。 *通过我们文章中的链接购买商品时，我们可能会获得少量佣金（https://techcrunch.com/techcrunch-affiliate-monetization-standards/）。这不会影响我们的编辑独立性。*