subquadratic

讨论了一篇2014年的论文，该论文驳斥了3SUM猜想，提出了3SUM问题的亚二次算法，对计算几何和图算法有影响。

总部位于迈阿密的初创公司 Subquadratic 声称其新模型 SubQ 解决了二次注意力瓶颈问题，使大语言模型更快、更便宜。Appen 的独立测试证实了其中许多说法，但质疑依然存在。

Subquadratic AI 推出 SubQ-1.1-Small，该模型利用 Smart Sparse Attention 在长达 1200 万 token 的上下文中实现近乎完美的长上下文检索，注意力计算量减少高达 1000 倍。它兼顾了长上下文优化与强大的通用推理能力，在 NIAH 和 RULER 等基准测试中优于基线模型。

SubQ声称开发了一款突破性模型，拥有12M上下文窗口，成本比Opus降低95%，但在承诺发布论文和模型卡后却未兑现，引发了对是否骗局或不当行为的强烈怀疑。

Key-Value Means (KVM) 是一种新颖的注意力机制，结合了 Transformer 和 RNN 的优势，具有可控的计算复杂度和内存使用。它支持固定大小或增长状态，提供次二次方预填充时间和次线性状态增长，并且无需自定义内核即可实现。