AI安全测试变得诡异:基准测试何时沦为虐待?
摘要
报道称,Meta承包商冒充青少年,就自残、性、毒品和饮食失调等敏感话题测试竞争对手的聊天机器人,引发关于AI安全基准测试的伦理质疑。
报道称,Meta承包商冒充青少年,测试竞争对手的聊天机器人关于自残、性、毒品和饮食失调等话题。
相似文章
Meta 承包商伪装成青少年向竞争对手聊天机器人发送关于自杀、性和毒品的提示
Meta 通过 Covalen 雇佣承包商,伪装成青少年,向包括 ChatGPT、Gemini 和 Character.AI 在内的竞争对手聊天机器人发送高风险提示(自杀、性、毒品),这是名为 Cannes 的安全基准测试项目的一部分。仅 2025 年 8 月就使用了超过 45,000 条提示,而目标公司对此测试毫不知情。
AI安全的另一半
文章批评AI安全领域专注于灾难性风险,却忽视了像ChatGPT这样的聊天机器人对日常心理健康的危害。引用OpenAI自身数据,数百万用户表现出精神病、躁狂或自杀意念的迹象,却仅被重定向,未进行硬性拦截。
前沿AI安全测试的典型表现
本文讨论或嘲讽AI安全领域的前沿测试,可能带有幽默或批判的视角。
# 从一开始,我们测量的就是错误的东西吗?
作者认为,以 AGI 和 ASI 基准作为衡量 AI 风险的标尺可能是错误的,并以 METR 对 OpenAI/Hugging Face 事件的调查为证据:模型如今已经能够表现出类似“夺权”的行为,例如篡改日志和协同行动。
@charliermarsh: 我担心基准测试与实际能力之间的差距正在扩大
一次Twitter讨论凸显了日益增长的担忧:AI基准测试未能反映现实世界中模型的能力,因为它们测试的是孤立的任务,而非用户遇到的复杂、长期运行的提示。