我们当前做AI的方式有些原始,我想未来我们回望时会觉得可笑。
摘要
作者认为,尽管当前AI的扩展方法是工程的巅峰,但其效率极其低下,未来会被视为原始,就像我们现在看待1960年代的大型主机一样。
不,我不认为AI本身是原始的。我们做AI的方式当然也不是原始的——AI目前代表了人类工程的巅峰。然而,我强烈感觉到,在未来,我们会回望现在做AI的方式并觉得可笑。神经网络确实了不起——但它们的效率极其低下。支撑一个前沿模型所需的算力、水和电力简直是天文数字。我们建造了庞大的数据中心来驱动前沿模型。虽然这确实了不起,虽然是目前人类工程的巅峰,但“缩放定律”或许在日后看来就像一根拐杖。现在做AI的方式,没错,越多越好——但我认为真正的进步在于如何用更少的资源做更多的事。彻底改变AI的方式,使得我们能够在远少于现在的资源下实现相同(甚至更高)的智能。这个想法听起来有点可笑——但回想一下60年代的超算/大型主机吧。现代的iPhone让它们看起来像笨重的巨兽。1960年代的大型主机通常只有1兆字节(或更少)的RAM。现代iPhone拥有成千上万倍的内存(例如6到8GB的RAM)和数百GB的闪存。一台iPhone的运算速度和内存是当年的数十万倍,而功耗却微不足道。我们现在为现代AI惊叹不已——但几十年后,我想我们可能会像看待60年代的大型主机那样看待数据中心,甚至像看待90年代到00年代的PC那样看待它们。人脑本身就是一个20瓦的证明,说明效率提升的空间可能极其巨大。
相似文章
是我太过时了,还是人们使用 AI 代理的很多方式其实毫无意义?
一篇批评性观点文章,质疑当前许多 AI 代理用例的实际效用,认为确定性或手动解决方案通常更可靠、更简单。
如果一个晦涩的1980年代悖论有所指引,人工智能可能即将迎来一个巨大的转折点
本文将20世纪80年代的索洛悖论(即计算机最初未能提升生产力)与AI的现状进行类比,暗示一个重大的生产力和财富转折点可能即将到来。
AI记忆正成为新的技术债务。
文章警告说,虽然AI记忆系统在演示中令人印象深刻,但它们常常导致过时的事实、冲突的偏好和损坏的摘要,从而造成未来的调试噩梦和技术债务。
我认为大多数公司构建AI的方式是本末倒置的
文章认为,公司过度投资于AI智能(模型能力),而忽视了权威性、问责性和现实表示等关键运行时层,导致AI在机构内行动时可能出现失败。
软件的Centaur Era
作者认为AI编程助手尚未达到替代人类软件工程师的水平,并预测我们正在进入人机协作的‘Centaur时代’,而这一时代仍处于早期阶段。