标签
一位开发者指出,编程代理始终无法帮助他10岁的孩子构建创意模拟器,这揭示了LLM在处理分布外用例方面的不足,并认为关于即将实现AGI的说法被夸大了。
本文认为,当前大型语言模型无法实现真正的理性(即识别和切换框架的能力),其根本原因在于架构限制而非规模不足。文中引用反转诅咒、框架转移问题等实证失败案例,并指出仅靠规模扩展可能无法弥合这一差距。
CETI项目使用大语言模型的架构解码抹香鲸的咔嗒声,揭示了其语音字母表,但也凸显出AI的统计模式匹配缺乏真正的理解。文章认为,AGI需要具身化、多模态的根基,而不仅仅是基于文本的模型扩展。
Yann LeCun 指出,LLMs 在语言作为推理基础的领域(如数学和代码)中最强,但它们并非有创造力的数学家、软件架构师或计算机科学家。
本文证明,基于RoPE的注意力机制在长上下文中无法区分词元位置和身份,解释了LLM在宣称的上下文长度内失败的原因。实验验证表明,针对检索优化的模型在简单列表任务上表现困难。
本文认为,现代 AI 本质上是由概率和矩阵乘法驱动的高级自动补全系统,批评业界将语言流畅性误认为是真正的推理能力或智能。
Matt Pocock argues that effective AI-assisted development requires respecting LLM limitations, specifically the 'intelligence zone' and amnesiac context windows, advocating for small tasks and clear system prompts over vague specifications.
作者对行业依赖提示词工程和扩展规模来解决基于 Transformer 的大语言模型(LLM)逻辑推理缺陷表示沮丧,认为这些概率模型从根本上缺乏确定性逻辑的架构。
本文讨论了AI基准测试高分与实际真实表现之间日益扩大的差距,重点强调了诸如一致性、延迟和上下文处理等问题。
文章讨论了AI代理从沙盒测试迁移到生产环境时可靠性下降的问题,指出编排层包含的错误往往比模型本身更多。
一位用户提议使用扩散模型生成或编辑抽象语法树(AST),以确保代码生成的语法正确性,并与当前LLM基于token的限制形成对比。
哥伦比亚大学计算机系教授 Vishal Misra 认为,LLM 只能在已习得的贝叶斯流形内插值,无法构建全新概念图谱,因此无法产生真正原创的科学突破。