subquadratic

SubQ声称开发了一款突破性模型，拥有12M上下文窗口，成本比Opus降低95%，但在承诺发布论文和模型卡后却未兑现，引发了对是否骗局或不当行为的强烈怀疑。

Key-Value Means (KVM) 是一种新颖的注意力机制，结合了 Transformer 和 RNN 的优势，具有可控的计算复杂度和内存使用。它支持固定大小或增长状态，提供次二次方预填充时间和次线性状态增长，并且无需自定义内核即可实现。