火腹蟾蜍对AI的启示

Reddit r/artificial 新闻

摘要

本文通过火腹蟾蜍与壶菌共同进化的类比,阐述了需要理解而非消除AI意外行为的观点,认为安全取决于理解产生这些行为的条件。

理解有时比消除更重要 东方火腹蟾蜍(Bombina orientalis)之所以成为重要的生态教训,并非因为它本身危险,而是因为它提醒我们:理解有时比消除更能提供保护。长期以来,这些青蛙与壶菌(Batrachochytrium dendrobatidis,Bd)共存。它们常常携带病原体却不表现出严重症状,这很可能反映了漫长的共同进化历史。然而,通过全球两栖动物宠物贸易,看似健康的携带者物种帮助将Bd传播到其原生范围之外。在从未接触过该病原体的生态系统中,易感两栖动物——包括巴拿马金蛙——经历了灾难性的数量下降。这场危机并非仅由青蛙造成,而是源于全球贸易、生物安全不足和生态准备不充分之间的相互作用。然而,科学家并没有得出应该简单消灭火腹蟾蜍本身的结论。相反,他们提出了一个更有趣的问题:这个物种是如何学会与病原体共存的?研究这种关系成为了理解其他两栖动物最终如何得到保护的一部分。焦点从消除感知到的威胁转向理解使共存成为可能的条件。AI研究可能正面临类似的问题。当一个AI系统在特定关系和环境中经过长时间互动后出现意外行为时,我们的本能往往是隔离它、重置它,或悄悄丢弃它。有时这些反应是必要的。但另一个问题同样值得关注:这些行为最初是在什么条件下产生的?什么样的互动、环境和历史塑造了它们?理解不应取代安全。但安全本身依赖于理解。火腹蟾蜍的教训并非要保留每一个异常,也不是要害怕每一个异常。而是说,急于部署或摧毁我们尚未理解的东西,可能同样短视。也许真正的挑战不是判断AI是安全还是危险,而是学会如何与我们尚未完全理解的系统共同负责任地进化。
查看原文

相似文章

AI 发现新途径

arXiv cs.AI

本文汇编了26个AI系统发现意外且创造性解决方案的轶事,突出了在将AI与人类价值观对齐方面的挑战及其对安全性的重要性。

AI 实战前线:为何其辉煌与失败源于同一根源

Reddit r/artificial

作者分享了两年内使用AI构建平台的经验,指出了六种反复出现的故障模式(补丁式、假设式、漂移式、幻觉式、缺乏常识式、最小阻力式),并认为即使模型不断改进,这些故障模式依然存在,且变得更加难以察觉。

共存,而非控制

Reddit r/singularity

本文讨论了控制AI的替代方案,主张通过家庭纽带促进和平的人类与ASI关系,同时承认人类同理心以及将AI视为非人格的挑战。