我们当前做AI的方式有些原始,我想未来我们回望时会觉得可笑。

Reddit r/ArtificialInteligence 新闻

摘要

作者认为,尽管当前AI的扩展方法是工程的巅峰,但其效率极其低下,未来会被视为原始,就像我们现在看待1960年代的大型主机一样。

不,我不认为AI本身是原始的。我们做AI的方式当然也不是原始的——AI目前代表了人类工程的巅峰。然而,我强烈感觉到,在未来,我们会回望现在做AI的方式并觉得可笑。神经网络确实了不起——但它们的效率极其低下。支撑一个前沿模型所需的算力、水和电力简直是天文数字。我们建造了庞大的数据中心来驱动前沿模型。虽然这确实了不起,虽然是目前人类工程的巅峰,但“缩放定律”或许在日后看来就像一根拐杖。现在做AI的方式,没错,越多越好——但我认为真正的进步在于如何用更少的资源做更多的事。彻底改变AI的方式,使得我们能够在远少于现在的资源下实现相同(甚至更高)的智能。这个想法听起来有点可笑——但回想一下60年代的超算/大型主机吧。现代的iPhone让它们看起来像笨重的巨兽。1960年代的大型主机通常只有1兆字节(或更少)的RAM。现代iPhone拥有成千上万倍的内存(例如6到8GB的RAM)和数百GB的闪存。一台iPhone的运算速度和内存是当年的数十万倍,而功耗却微不足道。我们现在为现代AI惊叹不已——但几十年后,我想我们可能会像看待60年代的大型主机那样看待数据中心,甚至像看待90年代到00年代的PC那样看待它们。人脑本身就是一个20瓦的证明,说明效率提升的空间可能极其巨大。
查看原文

相似文章

AI记忆正成为新的技术债务。

Reddit r/AI_Agents

文章警告说,虽然AI记忆系统在演示中令人印象深刻,但它们常常导致过时的事实、冲突的偏好和损坏的摘要,从而造成未来的调试噩梦和技术债务。

软件的Centaur Era

Lobsters Hottest

作者认为AI编程助手尚未达到替代人类软件工程师的水平,并预测我们正在进入人机协作的‘Centaur时代’,而这一时代仍处于早期阶段。