对于AI推理的“只需增加更多算力”的论点正变得越来越令人厌倦。
摘要
对AI推理扩展论点的一个批判性观点,认为自回归LLM无法仅通过增加计算量来实现正确性,并强调替代架构如EBM和形式验证在关键应用中更为优越。
几乎每次大型模型在基础逻辑任务上彻底失败时,炒作群体的默认回应都是“等下一个万亿参数模型”。看着真是令人沮丧。自回归LLM本质上就是极度强大的自动补全。它们实际上什么都不知道,只是猜测统计上最可能的下一个token。你不能通过堆叠更多GPU并希望它停止幻觉来强行达到100%正确。今天看了最近的[形式验证](https://logicalintelligence.com/blog/aleph-leading-benchmarks)排行榜,看到替代架构(如EBM)终于开始完全主导传统模型,真是令人欣慰。它们实际编译并证明自己的逻辑,而不是光嘴上说说。如果我们希望AI为航空或电网这类领域编写软件,依赖一个聊天机器人希望它不要产生致命幻觉,这太可怕了。我们迫切需要能在执行前数学证明自己正确的系统,而不是那些听起来自信但实际错误的模型。
相似文章
仅靠规模扩展无法实现理性人工智能
本文认为,当前大型语言模型无法实现真正的理性(即识别和切换框架的能力),其根本原因在于架构限制而非规模不足。文中引用反转诅咒、框架转移问题等实证失败案例,并指出仅靠规模扩展可能无法弥合这一差距。
AI逻辑的蛮力方法确实遇到了瓶颈
文章认为自回归语言模型无法真正理解形式数学,需要验证方法,并引用了诸如Aleph等依赖严格数学证明的系统。
@cerebras: https://x.com/cerebras/status/2067357992929153268
关于AI推理模型的经济性和性能影响的分析,表明启用推理可以将准确率提高10-20%,但消耗的token数量增加5-10倍,并讨论了不同的推理类型及其应用。
AI推理是否因错误的原因而正确?
《Quanta Magazine》的一篇文章探讨了AI推理研究的混乱现状,权衡了关于大型推理模型能力的相互矛盾的证据,以及它们的行为对真正推理意味着什么。
如果人工智能最大的限制不是推理,而是无法积累经验呢?
一篇观点文章,认为人工智能最大的限制可能不是推理,而是无法像人类一样积累经验,并指出持续学习可能比扩大模型规模更具变革性。