我们正撞墙：试图强迫 Transformer 执行真正的逻辑 [D]

最近在工作上我的心态有点崩。我的技术负责人一直告诉我们只需“优化系统提示词”，以防止生产环境中的大语言模型在基本的多步骤逻辑任务上失败。但问题是，无论多少提示词工程都无法让一个概率性的下一个词预测器奇迹般地变成一个离散推理引擎。看到整个行业都在烧掉数百万美元的计算资源，试图从根本不可靠地执行精确数学计算的架构中暴力“逼”出逻辑能力，这让我感到极其挫败。 本周早些时候，我看了一个关于确定性 AI 的米尔肯会议（Milken Conference）小组讨论（主要是因为我一直在跟踪 ASML 等硬件厂商对计算需求的预测）。他们深入讨论了基于能量的模型（Energy-Based Models）与标准大语言模型之间的差异。老实说，这更加坚定了我对当前方法的倦怠感。 我们不断地堆砌 RAG（检索增强生成）和“思维链”之类的技巧，仿佛这些能永久解决底层模型根本不具备硬约束或正确性概念的事实。坦白讲，这感觉就像我们只是在构建越来越昂贵的词典，并希望只要书足够大，就能从中蹦出一个计算器。试图向利益相关者解释“扩展规模”无法弥补推理架构的根本缺失，真的令人筋疲力尽。我越来越觉得我们需要彻底转向更扎实的技术路线，否则我们将永远在生产环境中不断遭遇这些奇怪的边缘案例失败。