我曾是人工智能的忠实信徒。现在我认为整个行业正在从内部腐烂。

Reddit r/ArtificialInteligence 新闻

摘要

一位前AI倡导者详细阐述了对大语言模型的幻灭,指出可靠性问题、版本间退化、企业工作流崩溃,以及部署在关键行业的AI系统缺乏问责制。

我曾全力以赴投入大语言模型。构建了自动化流程、客户端工具、业务工作流……甚至整个围绕GPT及类似系统的流程。我曾以为我们正见证一个新时代的黎明。我错了。 没有什么是可靠的。如果你的工作流需要任何真正的准确性、一致性或可重复性,这些模型就是累赘。同一个问题问两次得到两个不同的答案。微小的更新悄然破坏整个逻辑链。就像在流沙上建造。 那句老话*“这是最糟糕的情况了”*纯属胡扯。以前运行完美的GPT-4o工作流在GPT-5.5上现在毫无用处。事物退化,行为改变,上下文窗口出现幻觉。你无法对根本不理解自己在做什么的智能进行版本锁定。 投入到“防护栏”、“安全层”和“合规”上的时间和金钱,远超直接雇人正确完成工作的成本。更糟的是,这些安全措施几乎不起作用。你最终在调试一个拒不认错的AI,而它又被另一个无法解释原因的AI包裹着。 还有那炒作机器。每家公司都争先恐后地把“AI驱动”硬塞到不需要它的产品上。Copilot、ChatGPT、Gemini——它们充其量只是平庸,大型科技公司也开始意识到这一点。真正的生产力提升极为罕见。 商界对此讳莫如深,纯粹是因为承认失败令人尴尬。CEO们实际上正在争相重新招聘,或者出钱请像我这样的人来处理一些真正糟糕的局面。(我正忙于修复我这边所有破碎的东西,根本没时间考虑为别人做这些。但电话和邮件堆积如山。我交谈过的其他顾问也这么说。Copilot显然是被要求修复最多的。) 在美国,随机、不可靠且支离破碎的系统没有审计要求。我是说完全没有问责制。大公司为了故意或无意伤害他人而拥有的“可否认性”数量惊人。这些系统如今影响着招聘、薪酬、医疗、信用和法律结果,却缺乏可审计性、透明度和监管。 我每天都与这些工具打交道,从一开始就是这样。我确信,我们至少处于一个大部分停滞的性能低谷,最坏的情况下,正在目睹绝对的基础开始崩塌。
查看原文

相似文章

AI是终极的胡说八道者

Reddit r/artificial

一篇观点文章,认为AI系统,尤其是大型语言模型,本质上是胡说八道者,因为它们生成看似合理但虚假的信息,既无理解也无欺骗意图。

AI 本应赢得人心,但至今未果。

TechCrunch AI

本文报道了美国公众对 AI 日益增长的不信任,引用多项民意调查和报告,并强调这种情绪正成为科技公司的商业挑战。

AI 自信犯错的程度远超人们想象,不服来辩

Reddit r/ArtificialInteligence

一位用户分享了对 AI 模型的担忧:AI 在数据单薄或含糊不清时,也能以与数据充分时相同的自信呈现结论。文中举了一个例子:一条仅在 200 条评论中出现两次的投诉,被列为头号关注点。文章质疑这是否是一个可通过提示词修复的问题,还是一个需要人工核验的根本性局限。