认知依赖

Reddit r/singularity 新闻

摘要

一篇简短的评论文章,探讨依赖AI进行软件开发是否会导致工程师技能退化,并可能造成AI进展停滞,直至递归自我改进(RSI)成为可能。

非常简短的文章,请原谅其简洁。我们知道,将AI用作认知支架可能会导致技能退化。相关科学尚不确定,但有足够证据表明,长期将智力劳动外包(即委托AI完成)会引发认知放弃和依赖等现象。那么我的问题是,这种情况在软件工程师中发展到何种程度,以及它将如何影响模型开发。如果我们接受这一科学观点,并采用较长奇点时间线,那么依赖模型进行开发可能会导致这样一种情况:工程师——尤其是年轻一代——根本不具备必要的技能。结果将是某种平台期:模型尚未先进到足以实现递归自我改进(RSI),而工程师也无法显著推动进展。论证中存在巨大漏洞——我也看到了。这要归咎于篇幅简短,但我认为其中确实蕴含着一个核心观点。我听到软件工程师们讲述的Vibecoding故事令人震惊,有些人报告说他们已经好几个月没有写过一行代码了。这是可持续的吗?此外,我认为这指向一个更广泛的担忧:社会可能会变得多么依赖AI,以及这将如何影响知识生产。存在一种反乌托邦情景:时间线被拉长,人类陷入某种停滞,依赖那些尚未完全个体化且无法自举到奇点的AI机器。
查看原文

相似文章

认知债务:AI作为智力杠杆与系统性脆弱性动态

arXiv cs.AI

本文提出了认知债务的形式化理论,其中使用AI替代第一性原理推理会积累未经核实的义务,导致系统性脆弱性和认知明斯基时刻,表明分散均衡过度采用替代性AI而未考虑外部性。

AI正在让我变笨

Hacker News Top

作者反思了在写作和编程中依赖AI工具如何削弱了自己的能力,导致自我怀疑,并决定重新训练。

软件工程或许不再是终身职业

Hacker News Top

作者指出,依赖 AI 编写代码可能导致长期技能退化,进而可能使软件工程从一项终身职业转变为类似职业体育那样职业生涯较短的行业。