Tag
ALHR是一种基于静态二叉树和可学习预算预测器的注意力机制，将推理复杂度降至O(NlogN)，在MQAR长上下文任务上保持约97%的密集基线精度，同时显著提升KV压缩和显存扩展效率。
Claims that GPT-5.6 Sol uses a variant of tree attention, based on a cryptic tweet from an ex-OpenAI researcher.