认知债务可能是AI造成的最被低估的问题

Reddit r/artificial 新闻

摘要

文章认为,在没有基础理解的情况下依赖AI会产生“认知债务”,这是一种隐藏成本,可能导致法律、医学和金融等高风险领域的专业人士无法质疑或评估AI的输出。

所有人都知道技术债务:为了更快交付而牺牲代码质量,日后还得偿还。我们现在正实时目睹一个新版本的出现,只不过这次推迟的不是可管理的代码,而是真正的理解。与技术债务不同,认知债务会无形累积。你不会得到失败的测试套件,你只会得到这样的后果:有人无法调试自己的项目,无法判断AI的建议是否合理,也无法在不用反复提示的情况下扩展自己构建的东西。我一直在思考的是,这种情况大规模发展会走向何方。目前主要是开发者在用 vibe-coding 的方式完成他们半懂不懂的项目。但AI正在进入法律、医学和金融领域。同样的动态随之而来:人们用自己无法审查的工具做出重大决策,而在这些领域里,“我再重新提示一下”并不是一种补救策略。悲观或者说理性的解读是:没有基础理解的判断只是自信的无知,而我们正在这个基础上构建整个职业生涯。很好奇这里的各位怎么想。认知债务会在风险足够高时自我纠正吗?还是我们正在梦游般地走向一代专业人士,他们深度依赖自己根本不理解的系统?
查看原文

相似文章

NCSC警告:影子AI可暴露数据和代理权限

Reddit r/artificial

英国国家网络安全中心(NCSC)警告,员工使用未经批准的AI工具可能泄露数据并危及安全,建议组织提供更安全的替代方案,而不是全面禁止AI。