mqar

#mqar

我构建了一个 O(NlogN) 的注意力系统，在长上下文中保持了 97% 的准确率（MQAR）[P]

Reddit r/MachineLearning ↗ · 2026-10-10 缓存

ALHR是一种基于静态二叉树和可学习预算预测器的注意力机制，将推理复杂度降至O(NlogN)，在MQAR长上下文任务上保持约97%的密集基线精度，同时显著提升KV压缩和显存扩展效率。

0 人收藏 0 人点赞