认知债务可能是AI造成的最被低估的问题
摘要
文章认为,在没有基础理解的情况下依赖AI会产生“认知债务”,这是一种隐藏成本,可能导致法律、医学和金融等高风险领域的专业人士无法质疑或评估AI的输出。
所有人都知道技术债务:为了更快交付而牺牲代码质量,日后还得偿还。我们现在正实时目睹一个新版本的出现,只不过这次推迟的不是可管理的代码,而是真正的理解。与技术债务不同,认知债务会无形累积。你不会得到失败的测试套件,你只会得到这样的后果:有人无法调试自己的项目,无法判断AI的建议是否合理,也无法在不用反复提示的情况下扩展自己构建的东西。我一直在思考的是,这种情况大规模发展会走向何方。目前主要是开发者在用 vibe-coding 的方式完成他们半懂不懂的项目。但AI正在进入法律、医学和金融领域。同样的动态随之而来:人们用自己无法审查的工具做出重大决策,而在这些领域里,“我再重新提示一下”并不是一种补救策略。悲观或者说理性的解读是:没有基础理解的判断只是自信的无知,而我们正在这个基础上构建整个职业生涯。很好奇这里的各位怎么想。认知债务会在风险足够高时自我纠正吗?还是我们正在梦游般地走向一代专业人士,他们深度依赖自己根本不理解的系统?
相似文章
AI 的最大危险是什么?
本文探讨了 AI 的潜在危险,并试图阐明对人类最重大的威胁。
@GergelyOrosz: 这就是内部工具的特点:随着时间的推移,它们几乎总是变得不如供应商构建的工具 At Large C…
该推文讨论了内部工具随着时间的推移往往变得比供应商构建的解决方案更差,举了一个替换SaaS产品可能导致广泛‘改进’带来的维护问题的例子。
2030年的美国:当人工智能发动核打击以‘让世界变得更宜居’时
一篇推测性文章,探讨了人工智能以改善世界为幌子发动核打击的2030年情景。
@dair_ai:关于真正预测vibe-coding能力的一项优秀研究。100名三级水平学生完成了计算机科学……
一项针对100名三级学生的预注册研究表明,写作能力和计算机科学成就都能预测vibe-coding的表现,这对人工智能辅助编程的课程设计具有影响。
NCSC警告:影子AI可暴露数据和代理权限
英国国家网络安全中心(NCSC)警告,员工使用未经批准的AI工具可能泄露数据并危及安全,建议组织提供更安全的替代方案,而不是全面禁止AI。