模型崩塌 + 技能退化 + 竞争压力 = 一个巨大的反馈循环。你怎么看?

Reddit r/ArtificialInteligence 新闻

摘要

文章讨论了一家咨询公司的论点:模型崩塌、人类认知债务(技能退化)和竞争压力在人工智能中形成了一个自我强化的反馈循环,并质疑组织能否抵制自动化的竞赛。

读到一家咨询公司的这篇文章,它比通常的AI炒作/悲观论调更让我印象深刻。核心观点是,人们通常分开讨论的三件事实际上是一个反馈循环。当模型在AI生成的内容上训练时,它们会退化(模型崩塌)。人类由于停止运用判断力,失去了发现由此产生的错误的能力(他们称之为认知债务,引用了MIT的那项研究,其中使用ChatGPT的用户表现出更少的脑部活动,80%无法从"自己"的论文中引用一句话)。而博弈论无论如何会将所有人锁定其中,因为如果你的竞争对手实现了自动化,你也必须如此,即使双方都不这样做会更好。他们将其与2010年的闪电崩盘相类比,当时算法对算法作出反应,几分钟内蒸发了万亿美元。最让我印象深刻的一句话是:"从AI中获益最多的公司将是那些最不依赖AI的公司。"基本上,当所有人都使用相同的模型和相同的数据时,AI就只是基础设施,就像电力一样。差异化的关键在于谁还拥有能够质疑输出的能力的人。是的,这来自一家咨询公司,所以结尾有"雇佣我们"的推销角度。但这个论点本身在我看来是可靠的。我一直好奇的是:囚徒困境的那部分真的有出路吗?个人保持怀疑态度听起来不错,但如果你的竞争对手以自动模式快十倍的速度做出决策,那么"我们保持人类敏锐"在出问题之前是无法支付账单的。有没有人见过一个组织刻意坚守人工审查并最终获得回报,还是说底线竞赛总会胜出?来源
查看原文

相似文章

认知依赖

Reddit r/singularity

一篇简短的评论文章,探讨依赖AI进行软件开发是否会导致工程师技能退化,并可能造成AI进展停滞,直至递归自我改进(RSI)成为可能。

模型崩塌的有趣之处不在于技术,而在于认识论

Reddit r/AI_Agents

本文探讨模型崩塌不是技术缺陷,而是认识论问题:当AI模型的输出成为自身输入时,模型对现实的表征逐渐扁平化为一种自我指涉的平均值,这引发了我们如何区分一个建模世界的模型与一个只建模自身的模型的问题。

模型崩溃怎么回事?

Reddit r/LocalLLaMA

对模型崩溃的探讨,这是一种AI模型在合成数据上训练后,其质量和多样性下降的现象。

模型崩溃与对策综述

arXiv cs.AI

本文提供了生成AI中模型崩溃现象的最新概述,并回顾了缓解该问题的对策,强调了挑战和未来的研究机会。