mqar

#mqar

I Built a O(NlogN) attention system that retains 97% accuracy over long context (MQAR)[P]

Reddit r/MachineLearning ↗ · 2026-10-10 Cached

ALHR是一种基于静态二叉树和可学习预算预测器的注意力机制，将推理复杂度降至O(NlogN)，在MQAR长上下文任务上保持约97%的密集基线精度，同时显著提升KV压缩和显存扩展效率。

0 favorites 0 likes