Do you guys think subquadratic actually has a 12 million context model

### TL;DR 一家名为 Sub Quadratic 的 AI 公司宣称发布了一个拥有 1200 万 token 上下文窗口的模型，但实际产品仅限合作伙伴访问，“大海捞针”检索任务表现出色，但这与模型在实际推理任务中的能力相去甚远，目前声称的可投入生产版本尚未公开。 ## 1200 万 token 意味着什么？ 如果这一宣称属实，这将是长上下文 AI 领域最大的飞跃。一本书平均约有 10 万个 token，GPT-5.4 在百万 token 级别可容纳约 10 本书。而 1200 万 token 能装下约 **120 本书**，几乎是一个小型图书馆的数据量，或者整个公司的代码库。在这样的规模下，压缩上下文已经变得无关紧要。 ## 疑点：又是同样宣称，且无人能用 这并非 Sub Quadratic 第一次抛出 1200 万上下文。几个月前他们就曾做出类似宣称，但访问受限、证据不足，引发广泛质疑。现在，Sub Q 1.1 再次以同样的 1200 万上下文窗口回归，但公开可用的只有 SubQ 1 Million Preview 模型。更大版本（从 200 万到 1200 万上下文）仅面向少数早期合作伙伴，未来才会推出。这与“已准备好投入生产的 1200 万 token 巨兽”相去甚远。 ## 核心技术：智能稀疏注意力（SSA） 传统语言模型的主要瓶颈在于注意力机制的计算量随上下文长度呈**二次方增长**。DeepSeek 的稀疏注意力虽能降低计算量，但本质上仍为二次方。线性注意力曾被提出但质量太差。Sub Quadratic 声称其 SSA 方法实现了**线性计算成本**，且注意力质量与常规注意力相当。其论文宣称在 1200 万上下文下，效率比 DeepSeek 稀疏注意力高出 **191 倍**。 ## 第三方评估：Appen 报告 Sub Quadratic 并非空口无凭。他们发布了技术论文和方法，并由第三方评估机构 **Appen** 进行了长上下文检索测试。Appen 报告称，在 **“大海捞针”**（needle-in-a-haystack）测试中，该模型在 1200 万上下文中展现出**近乎完美的检索能力**。这支持了他们“能从 1200 万 token 中检索植入事实”这一较窄的宣称。 ## 关键问题：检索 ≠ 推理 最大的警告在于：“大海捞针”是最简单、最轻松的长上下文任务之一。模型从中提取一个孤立事实与在 1200 万 token 上进行推理是两码事。即使当前闭源模型（如 GPT-5.5 和 Claude-4.8）在接近百万 token 时，质量也会明显下降，更不用说 1200 万 token。Sub Quadratic 没有提供任何证据表明他们的模型能在 1200 万上下文上处理一般推理、编码或实际大型任务。 ## 混淆的两个宣称 Sub Quadratic 在公开材料中混合了两个不同的宣称： - **宣称一**：模型能在 1200 万上下文中检索植入事实。这个宣称似乎合理，并有第三方证据支撑。 - **宣称二**：他们拥有一个可投入生产的 1200 万上下文模型，能进行一般推理、编码并处理巨大的实际问题。这个宣称**几乎没有证据支持**。 ## 最终判断 Sub Quadratic 值得关注，但宣称过于夸大。他们拥有一个能通过 1200 万 token “大海捞针”测试的模型可能性较高，但同一个模型能在 1200 万 token 上准确推理的可能性则非常低。真正的验证还需等到独立用户能够大规模测试或其它公司能复现其结果。 --- Source: [FusionCow - Do you guys think subquadratic actually has a 12 million context model](https://www.youtube.com/watch?v=qaPdHmkGDgo)