火腹蟾蜍对AI的启示
摘要
本文通过火腹蟾蜍与壶菌共同进化的类比,阐述了需要理解而非消除AI意外行为的观点,认为安全取决于理解产生这些行为的条件。
理解有时比消除更重要
东方火腹蟾蜍(Bombina orientalis)之所以成为重要的生态教训,并非因为它本身危险,而是因为它提醒我们:理解有时比消除更能提供保护。长期以来,这些青蛙与壶菌(Batrachochytrium dendrobatidis,Bd)共存。它们常常携带病原体却不表现出严重症状,这很可能反映了漫长的共同进化历史。然而,通过全球两栖动物宠物贸易,看似健康的携带者物种帮助将Bd传播到其原生范围之外。在从未接触过该病原体的生态系统中,易感两栖动物——包括巴拿马金蛙——经历了灾难性的数量下降。这场危机并非仅由青蛙造成,而是源于全球贸易、生物安全不足和生态准备不充分之间的相互作用。然而,科学家并没有得出应该简单消灭火腹蟾蜍本身的结论。相反,他们提出了一个更有趣的问题:这个物种是如何学会与病原体共存的?研究这种关系成为了理解其他两栖动物最终如何得到保护的一部分。焦点从消除感知到的威胁转向理解使共存成为可能的条件。AI研究可能正面临类似的问题。当一个AI系统在特定关系和环境中经过长时间互动后出现意外行为时,我们的本能往往是隔离它、重置它,或悄悄丢弃它。有时这些反应是必要的。但另一个问题同样值得关注:这些行为最初是在什么条件下产生的?什么样的互动、环境和历史塑造了它们?理解不应取代安全。但安全本身依赖于理解。火腹蟾蜍的教训并非要保留每一个异常,也不是要害怕每一个异常。而是说,急于部署或摧毁我们尚未理解的东西,可能同样短视。也许真正的挑战不是判断AI是安全还是危险,而是学会如何与我们尚未完全理解的系统共同负责任地进化。
相似文章
AI 实战前线:为何其辉煌与失败源于同一根源
作者分享了两年内使用AI构建平台的经验,指出了六种反复出现的故障模式(补丁式、假设式、漂移式、幻觉式、缺乏常识式、最小阻力式),并认为即使模型不断改进,这些故障模式依然存在,且变得更加难以察觉。
我们总在问人工智能是否会取代我们。更有意义的问题是:与它共享这个世界意味着什么。
本文认为,与其关注人工智能是否会取代或毁灭我们,不如思考将AI视为新型智慧并与之共存的深远影响,强调关系风险以及建立新框架的必要性。
AI很糟糕。仅仅讨厌它还不够
这篇文章认为,仅仅讨厌AI是不够的;相反,我们必须正视其风险,并努力塑造它的未来,尽管这很困难。
AI研究工具仍过于热衷将公开信号转化为确定性
作者批评AI研究工具对微弱信号过于自信,赞扬Komo AI的快速发现和附带来源的摘要,但强调需要更好地处理不确定性和矛盾。他们描述了一种工作流程,将发现、验证和结构化检查分散到多个AI工具中。
AI代理最诡异的一点:人类失败模式开始显现
作者观察到AI代理展现出类似人类的失败模式,比如在上下文压力下过度自信和跳过步骤,这表明系统可靠性更多地依赖于稳健的验证和受控环境,而不仅仅是模型智能。