对于AI推理的“只需增加更多算力”的论点正变得越来越令人厌倦。

Reddit r/artificial 新闻

摘要

对AI推理扩展论点的一个批判性观点,认为自回归LLM无法仅通过增加计算量来实现正确性,并强调替代架构如EBM和形式验证在关键应用中更为优越。

几乎每次大型模型在基础逻辑任务上彻底失败时,炒作群体的默认回应都是“等下一个万亿参数模型”。看着真是令人沮丧。自回归LLM本质上就是极度强大的自动补全。它们实际上什么都不知道,只是猜测统计上最可能的下一个token。你不能通过堆叠更多GPU并希望它停止幻觉来强行达到100%正确。今天看了最近的[形式验证](https://logicalintelligence.com/blog/aleph-leading-benchmarks)排行榜,看到替代架构(如EBM)终于开始完全主导传统模型,真是令人欣慰。它们实际编译并证明自己的逻辑,而不是光嘴上说说。如果我们希望AI为航空或电网这类领域编写软件,依赖一个聊天机器人希望它不要产生致命幻觉,这太可怕了。我们迫切需要能在执行前数学证明自己正确的系统,而不是那些听起来自信但实际错误的模型。
查看原文

相似文章

仅靠规模扩展无法实现理性人工智能

Reddit r/ArtificialInteligence

本文认为,当前大型语言模型无法实现真正的理性(即识别和切换框架的能力),其根本原因在于架构限制而非规模不足。文中引用反转诅咒、框架转移问题等实证失败案例,并指出仅靠规模扩展可能无法弥合这一差距。

AI逻辑的蛮力方法确实遇到了瓶颈

Reddit r/ArtificialInteligence

文章认为自回归语言模型无法真正理解形式数学,需要验证方法,并引用了诸如Aleph等依赖严格数学证明的系统。

AI推理是否因错误的原因而正确?

Hacker News Top

《Quanta Magazine》的一篇文章探讨了AI推理研究的混乱现状,权衡了关于大型推理模型能力的相互矛盾的证据,以及它们的行为对真正推理意味着什么。