标签
分析表明，LLM 声称的大上下文窗口具有误导性，因为有效注意力在约 10 万 token 时会下降。为开发者提供实用建议：通过使用工件（artifacts）和切换（handoffs）将会话保持在“智能区”。
一位开发者构建了一个基于LLM的工单路由工具，但支持团队不信任其黑箱决策。客户付费将LLM替换为简单的规则引擎，结果准确率更高、成本更低、用户信任度也更高。
一篇评论文章，分析科技行业对AI颠覆日益增长的恐慌，突出高管们如何匆忙将自己定位为AI远见者，而该行业正面临着它曾经强加给别人的那种颠覆的自身版本。
本文探讨了将道德观念编程到自主AI驱动的军用无人机中所面临的伦理和技术挑战，并引用专家的观点，他们认为当前的AI系统（包括大型语言模型）从根本上无法进行道德决策。
本文批评当前AI记忆系统仅仅只是无法被纠正、更新或溯源至来源的只写日志，认为真正的记忆需要一个治理层。
本文批评了LLM中不断扩大上下文窗口的趋势，认为由于检索退化、数据量和缺乏结构，这并不能解决企业知识问题。文章主张在检索之前建立知识建模层，以映射关系和意图。
一项深度分析，探讨为何AI公司在知名研究者宣称缩放时代结束且收益递减已被广泛承认后，仍持续扩展系统，审视驱动该行业的结构与财务激励。
一位开发者指出，编程代理始终无法帮助他10岁的孩子构建创意模拟器，这揭示了LLM在处理分布外用例方面的不足，并认为关于即将实现AGI的说法被夸大了。
本文认为，当前大型语言模型无法实现真正的理性（即识别和切换框架的能力），其根本原因在于架构限制而非规模不足。文中引用反转诅咒、框架转移问题等实证失败案例，并指出仅靠规模扩展可能无法弥合这一差距。
CETI项目使用大语言模型的架构解码抹香鲸的咔嗒声，揭示了其语音字母表，但也凸显出AI的统计模式匹配缺乏真正的理解。文章认为，AGI需要具身化、多模态的根基，而不仅仅是基于文本的模型扩展。
Yann LeCun 指出，LLMs 在语言作为推理基础的领域（如数学和代码）中最强，但它们并非有创造力的数学家、软件架构师或计算机科学家。
本文证明，基于RoPE的注意力机制在长上下文中无法区分词元位置和身份，解释了LLM在宣称的上下文长度内失败的原因。实验验证表明，针对检索优化的模型在简单列表任务上表现困难。
本文认为，现代 AI 本质上是由概率和矩阵乘法驱动的高级自动补全系统，批评业界将语言流畅性误认为是真正的推理能力或智能。
Matt Pocock argues that effective AI-assisted development requires respecting LLM limitations, specifically the 'intelligence zone' and amnesiac context windows, advocating for small tasks and clear system prompts over vague specifications.
作者对行业依赖提示词工程和扩展规模来解决基于 Transformer 的大语言模型（LLM）逻辑推理缺陷表示沮丧，认为这些概率模型从根本上缺乏确定性逻辑的架构。
本文讨论了AI基准测试高分与实际真实表现之间日益扩大的差距，重点强调了诸如一致性、延迟和上下文处理等问题。
文章讨论了AI代理从沙盒测试迁移到生产环境时可靠性下降的问题，指出编排层包含的错误往往比模型本身更多。
一位用户提议使用扩散模型生成或编辑抽象语法树（AST），以确保代码生成的语法正确性，并与当前LLM基于token的限制形成对比。
哥伦比亚大学计算机系教授 Vishal Misra 认为，LLM 只能在已习得的贝叶斯流形内插值，无法构建全新概念图谱，因此无法产生真正原创的科学突破。