一家初创公司声称突破了限制大语言模型的瓶颈

# 一家初创公司声称突破了大语言模型的瓶颈 来源：https://www.technologyreview.com/2026/06/19/1139313/a-startup-claims-it-broke-through-a-bottleneck-thats-holding-back-llms Subquadratic 现已分享了其新模型的更多细节。但仍有人持怀疑态度。 一只猎豹向右冲出画面，左侧是注意力网格的方格在逼近。 Stephanie Arnett/《麻省理工科技评论》 | Adobe Stock 总部位于迈阿密的 AI 初创公司 Subquadratic 上个月结束了隐身模式，并宣称取得了重大突破。它宣布解决了（https://subq.ai/introducing-subq）近十年来一直制约大语言模型的一个数学瓶颈。 当时细节匮乏，许多人并不信服。但 Subquadratic 开始拿出证据，分享了其新技术的独立评估结果。这些结果表明，该公司的说法或许值得关注。 据 Subquadratic 称，它开发了一种名为 SubQ 的新型大语言模型，该模型比市场上任何其他模型更快、更便宜，且能耗更低。该公司还声称 SubQ 一次能处理的文本量多数其他模型的多达 12 倍，使其能够处理一系列数据密集型任务，例如分析数百份文档或整个代码库。 更重要的是，Subquadratic 表示，在代码等关键任务上，SubQ 的性能与 Google DeepMind、OpenAI 和 Anthropic 推出的最佳模型基本持平。 问题在于，该公司最初只提供了少量自行发布的测试分数作为证据。而且它尚未让 SubQ 广泛开放供人们自行试用。 因此，Subquadratic 的说法招致怀疑也就不足为奇了。AI 工程师 Dan McAteer 在 X 平台上总结了普遍反应（https://x.com/daniel_mac8/status/2051710659822305661）：“SubQ 要么是自 Transformer 以来最大的突破……要么就是 AI 界的 Theranos。” 一个月后，该公司发布了关于其模型的更多信息（https://subq.ai/docs/subq-1-1-small-model-card.pdf），包括第三方公司 Appen 进行的额外独立测试结果（https://www.appen.com/whitepapers/subquadratic-preview-model-benchmark-evaluation）。 “我们预料到会有合理的怀疑，”Subquadratic 联合创始人兼首席技术官 Alex Whedon 说。“事后看来，如果在最初发布时就同时公布第三方基准测试，本可以消除很多怀疑，这就是为什么我们现在要花时间确保任何未来的结果在发布前都经过完全验证。” Subquadratic 委托评估其他公司模型的 Appen 在 SubQ 上运行其测试。结果似乎证实了 Subquadratic 的许多说法。“这让我非常兴奋，它验证了他们的架构，”Appen 的生成式 AI 研究总监 Jeanine Sinanan-Singh 说。 “我当时想，‘哇，这可能会改变游戏规则，’因为模型在速度和低效率上存在困难，”她补充道。“但当你有这种令人震惊的结果时，由你自己说出来就不那么可信了。” SubQ 不会全面取代现有的顶级模型，但在某些任务上，它可以以典型成本的一小部分提供巨大的速度提升。不过，Subquadratic 坚称，从长远来看，其突破可能会改变大语言模型的构建方式。“我们希望能开启一个高效的新时代，”该公司联合创始人兼 CEO Justin Dangel 说。“我们认为几年内不会再有人在 Transformer 基础上进行构建。” ### **注意力！** 为了理解为什么 Subquadratic 的说法如此重要，让我们深入了解一下大多数大语言模型的工作原理。大语言模型内部的关键机制是一种称为 Transformer 的神经网络，它运行着一个被称为密集注意力的过程。今天的大语言模型通常将多个 Transformer 串联在一起。（开启大语言模型时代的基础论文，由谷歌研究人员于 2017 年发表，标题为“注意力就是你所需要的一切”（https://arxiv.org/abs/1706.03762）。） 密集注意力是这样工作的：当 Transformer 处理一段文本时（https://www.technologyreview.com/2026/01/07/1130795/what-even-is-a-parameter/），它首先为每个单词（或单词的一部分，称为 token）编码一个数字。然后，为了捕捉全文的意义，它将每个数字与该文本中的每一个其他数字相乘。例如，一段 10000 个单词的文本将启动近 5000 万次单独的乘法运算。这是大量的计算，也是大语言模型以高能耗闻名的首要原因。 “如果你想概括《了不起的盖茨比》，你必须同时查看第一个词和最后一个词，然后你还必须查看所有其他组合，”Dangel 说。 随着文本长度的增加，计算次数激增。这是因为每一个新增的数字都必须与之前的所有数字相乘。单词数量翻倍，计算次数大约翻两番，这种增长率被称为二次扩展。 （你可以自己想象：画一个圆，在边缘标上点。每个点就是一个 token。然后在点对之间画线，代表这两个 token 的乘法。五个点的圆会有 10 条线穿过。变成 10 个点，你将得到 45 条线，20 个点则有 190 条线，以此类推。） ### **大幅削减成本** Subquadratic 的解决方案是放弃 Transformer 的核心操作——密集注意力，转而采用所谓的稀疏注意力，这大幅削减了所需的计算次数。稀疏注意力不是将每个 token 对应的数字与所有其他数字相乘，而是只选择部分数字进行相乘。其思路是，文本中并非所有单词之间的关系都重要。 “稀疏注意力认为并不是所有这些关系都重要，因为事实就是如此，”Whedon 说。“如果你在读书，你不会去看第一个词和第二个词、第一个和第三个——这太疯狂了。” 这是一种简单的方法，Subquadratic 并非首创。“几乎能想到的方法都有人尝试过，”曾在 OpenAI 工作的独立 AI 研究员 Will Depue 说。“并非不可能，但类似于跑一英里四分钟。” 以往选择哪些数字相乘、哪些忽略的技术，没有产生出能像密集注意力一样好地捕捉文档含义的机制。 Subquadratic 声称终于解决了这个问题。它将 SubQ 定位为第一个在性能上与主流密集注意力模型相媲美的稀疏注意力大语言模型。 “从历史上看，大多数机制使用固定模式，比如总是将第一个词与第五个词进行比较，”Whedon 说。“这非常有限。语言远比这复杂。因此，我们机制的一个独特之处在于，我们动态地选择哪些关系是重要的。” 该公司不会透露 SubQ 具体如何选择要关注的单词，但这种选择是即时计算出来的，并且对所给的每段文本都不同。“这有点像我们的秘制配方，”Whedon 说。 ### 测试，测试 结果是，对于某些任务，SubQ 可能比大多数其他模型运行得更快、更便宜。Appen 在一系列标准测试中对 SubQ 进行了评估。在一个直接的纯速度测试中（该测试设定模型理论上能运行多快的基准线，而非评估模型实际能做什么），Appen 发现 SubQ 比使用之前稀疏注意力技术 FlashAttention 的模型快 56 倍。 在 LiveCodeBench（一个测试模型在真实竞赛编程问题中表现如何的测试）上，SubQ 得分 89.7%，与其他顶级编码模型处于同一水平（https://livecodebench.github.io/leaderboard.html）。“这个模型在编码方面继续提供前沿水平的性能，”Appen 的 Sinanan-Singh 说。 Subquadratic 关于成本的声明更难验证，因为 SubQ 尚未广泛可用。据 Dangel 称，在 RULER 128（Nvidia 开发的评估模型从大数据集中检索信息能力的测试）上运行 Anthropic 的 LLM Opus 4.6 需要花费 2600 美元。而 SubQ 呢？“花了我们八美元，”他说。 SubQ 似乎确实能够处理非常大的数据集。该模型的上下文窗口（大致相当于工作记忆）最长可达 1200 万个 token。如今大多数顶级模型的上下文窗口是 100 万个 token。在 Whedon 为我演示的一个示例中，他让 SubQ 执行一项需要推理包含在 400 份文档中信息的任务。它在几秒内就做出了回应。当他给流行的 LLM 驱动的搜索引擎 Perplexity 同样的任务时，它未能成功加载全部 400 份文档。 Appen 还运行了“大海捞针”测试，该测试评估模型从大量数据中检索特定信息的能力。在报告中，Appen 指出 SubQ 在 600 万和 1200 万 token 的上下文窗口下得分 98%（https://www.appen.com/whitepapers/subquadratic-preview-model-benchmark-evaluation），“在极少模型测试过的大规模下保持了近乎完美的长上下文检索能力。” ### **好得令人难以置信？** 尽管分数很高，但基准测试并不能完整描绘一个模型能做什么和不能做什么。在非常特定的条件下进行测试，并不能替代在广泛真实任务上运行模型。 Subquadratic 将 SubQ 定位为专为编码和搜索超大数据集而设计的模型。它表示已有数万名潜在用户注册了早期访问，其中包括超过 500 家企业客户。但等待名单很长，该公司迄今为止只让极少数人获得访问权限。Subquadratic 回应称，它是一家资源有限的新兴小公司，无法同时服务太多人。 在更多人能拿到模型并亲自试用之前，一些怀疑是有道理的。一个令人困扰的问题是，Subquadratic 复用了中国开源模型 Qwen 某个版本的权重（训练时在模型中设定的值，决定了模型的行为方式（https://www.technologyreview.com/2026/01/07/1130795/what-even-is-a-parameter/））来引导 SubQ，而不是从头开始训练。这是模型制造商常见做法，但与 Subquadratic 声称的已彻底重新发明大语言模型工作方式相矛盾。 “他们可能构建了真正有用的东西，”Depue 说。“但公开的证据尚不足以证明他们已解决了二次注意力瓶颈这一更大的论断。” 与此同时，Subquadratic 联合创始人 Whedon 坚称，做出与众不同的东西是他的唯一选择。如果你想构建一个有竞争力的模型，就必须有新想法，他说：“我们比 OpenAI 面临更严峻的局面。” ### 深度解读 ### 人工智能 ### 保持联系 插图：Rose Wong ## 获取来自《麻省理工科技评论》的最新更新 发现特别优惠、头条新闻、即将举行的活动等更多信息。