标签
作者介绍了 ALHR（Adaptive Learnable Hierarchical Routing，自适应可学习分层路由），一种基于静态二叉树与可学习函数的稀疏注意力系统。在 MQAR 测试中，每个查询平均仅读取约 30 个键（相比之下稠密注意力需要读取 512 个），实现了约 35.3 倍的 KV 压缩，同时保持接近的准确率，并将推理复杂度降至 NlogN，显存占用线性扩展。
本文提出了一种基于SLM条件的分层关系路由架构，该架构将小型语言模型集成到图神经网络中，以实现标记属性图中的自适应消息选择，通过利用上下文语义信息来提高预测准确性。
HiRoute 提出了一种层级路由提示调优框架，将类别无关的安全控制与类别特定的响应引导相分离，用于大语言模型的安全对齐，在降低过度拒答的同时保持高安全率。
Hierarchical Global Attention (HGA) 是一种可直接替换预训练长上下文Transformer中密集因果注意力的方法。它采用分层两级路由机制，使得能够对一个小规模路由工作集进行精确注意力计算，从而允许像 Qwen3-30B 这样的模型在单个 RTX 5090 上以64K上下文运行，且质量损失极小。
SkillTree 是一个将 AI agent 的多个 skill 整理成树形结构并按需加载的工具，避免一次性将所有指令塞入上下文，提升 agent 效率。