标签
本文揭示了前沿大语言模型由于位置编码的限制而在精确复制任务上表现困难，并提出 2D-RoPE 方法，将文本组织为二维网格以实现完美复制，在合成数据和大规模预训练中展现出优势。
一篇评论质疑AI顾问是否拥有真正的专业知识，还是仅仅依赖流行词汇，强调AI咨询领域实际价值与炒作之间的差距。
Yann LeCun在彭博社采访中解释，LLMs之所以有限，是因为它们只处理符号文本，而现实世界的理解需要儿童自然获得的大量感官数据。他引用莫拉维克悖论来强调这一差距。
这篇专栏文章认为，AI投资（特别是Dario Amodei的Anthropic）有重蹈互联网泡沫覆辙的风险，因为它押注于一个收取租金的垄断模式，同时面临大语言模型的局限性以及优势被开源侵蚀的问题。
分析表明，LLM 声称的大上下文窗口具有误导性，因为有效注意力在约 10 万 token 时会下降。为开发者提供实用建议：通过使用工件（artifacts）和切换（handoffs）将会话保持在“智能区”。
一位开发者构建了一个基于LLM的工单路由工具，但支持团队不信任其黑箱决策。客户付费将LLM替换为简单的规则引擎，结果准确率更高、成本更低、用户信任度也更高。
一篇评论文章，分析科技行业对AI颠覆日益增长的恐慌，突出高管们如何匆忙将自己定位为AI远见者，而该行业正面临着它曾经强加给别人的那种颠覆的自身版本。
本文探讨了将道德观念编程到自主AI驱动的军用无人机中所面临的伦理和技术挑战，并引用专家的观点，他们认为当前的AI系统（包括大型语言模型）从根本上无法进行道德决策。
本文批评当前AI记忆系统仅仅只是无法被纠正、更新或溯源至来源的只写日志，认为真正的记忆需要一个治理层。
本文批评了LLM中不断扩大上下文窗口的趋势，认为由于检索退化、数据量和缺乏结构，这并不能解决企业知识问题。文章主张在检索之前建立知识建模层，以映射关系和意图。
一项深度分析，探讨为何AI公司在知名研究者宣称缩放时代结束且收益递减已被广泛承认后，仍持续扩展系统，审视驱动该行业的结构与财务激励。
一位开发者指出，编程代理始终无法帮助他10岁的孩子构建创意模拟器，这揭示了LLM在处理分布外用例方面的不足，并认为关于即将实现AGI的说法被夸大了。
本文认为，当前大型语言模型无法实现真正的理性（即识别和切换框架的能力），其根本原因在于架构限制而非规模不足。文中引用反转诅咒、框架转移问题等实证失败案例，并指出仅靠规模扩展可能无法弥合这一差距。
CETI项目使用大语言模型的架构解码抹香鲸的咔嗒声，揭示了其语音字母表，但也凸显出AI的统计模式匹配缺乏真正的理解。文章认为，AGI需要具身化、多模态的根基，而不仅仅是基于文本的模型扩展。
Yann LeCun 指出，LLMs 在语言作为推理基础的领域（如数学和代码）中最强，但它们并非有创造力的数学家、软件架构师或计算机科学家。
本文证明，基于RoPE的注意力机制在长上下文中无法区分词元位置和身份，解释了LLM在宣称的上下文长度内失败的原因。实验验证表明，针对检索优化的模型在简单列表任务上表现困难。
本文认为，现代 AI 本质上是由概率和矩阵乘法驱动的高级自动补全系统，批评业界将语言流畅性误认为是真正的推理能力或智能。
Matt Pocock argues that effective AI-assisted development requires respecting LLM limitations, specifically the 'intelligence zone' and amnesiac context windows, advocating for small tasks and clear system prompts over vague specifications.
作者对行业依赖提示词工程和扩展规模来解决基于 Transformer 的大语言模型（LLM）逻辑推理缺陷表示沮丧，认为这些概率模型从根本上缺乏确定性逻辑的架构。
本文讨论了AI基准测试高分与实际真实表现之间日益扩大的差距，重点强调了诸如一致性、延迟和上下文处理等问题。