tencent/HiLS-Attention-7B · Hugging Face

来源: https://huggingface.co/tencent/HiLS-Attention-7B arXiv (https://arxiv.org/abs/2607.02980)GitHub (https://github.com/Tencent-Hunyuan/HiLS-Attention)Hugging Face (https://huggingface.co/tencent/HiLS-Attention-7B/tree/main)

HiLS-Attention 是一种分块稀疏注意力机制，它在语言建模损失下端到端地学习块选择，从而支持原生稀疏训练以实现高效的长上下文建模。本仓库托管了在 OLMo3 风格骨干网络上进行持续训练后得到的7B检查点。

论文中介绍的模型：Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling (https://arxiv.org/abs/2607.02980)。

https://huggingface.co/tencent/HiLS-Attention-7B#model-description 模型描述

朴素的分块稀疏注意力通过精确的块质量选择 top-k 块，但计算所有块质量需要完整的 QK 计算。HiLS-Attention 则使用压缩块键来估计块质量代理，并将注意力分解为块间和块内 softmax，从而能够从下一个 token 预测损失中进行端到端学习。

HiLS-Attention 概览 (https://raw.githubusercontent.com/Tencent-Hunyuan/HiLS-Attention/main/assets/hils_attn_overview.png)

HiLS-Attention 概览。朴素的分块稀疏注意力通过精确的块质量选择 top-k 块，但计算所有块质量需要完整的 QK 计算。HiLS-Attention 则使用压缩块键来估计块质量代理，并将注意力分解为块间和块内 softmax，从而能够从下一个 token 预测损失中进行端到端学习。

• 参数： ~7B
• 基础架构： OLMo3-7B
• 论文： https://arxiv.org/abs/2607.02980
• 代码： https://github.com/Tencent-Hunyuan/HiLS-Attention

https://huggingface.co/tencent/HiLS-Attention-7B#highlights 亮点

仅经过 500 亿持续训练 tokens 后，HiLS-Attention 继承了全注意力的能力，同时带来了两个关键优势：

• 强大的超长上下文外推能力，超越了 YaRN 扩展的 4 倍长度。
• 长序列推理速度更快。

同时，它在原始训练长度和 YaRN 外推范围内，对于短上下文和中等上下文任务保持了可比的性能。

HiLS-Attention 性能

仅经过 500 亿持续训练 tokens 后，HiLS-Attention 继承了全注意力的能力，同时带来了两个关键优势：强大的超长上下文外推能力，超越了 YaRN 扩展的 4 倍长度 (a)，以及更快的推理速度 (b)。同时，它在原始训练长度和 YaRN 外推范围内，对于短上下文和中等上下文任务保持了可比的性能 (c & d)。

https://huggingface.co/tencent/HiLS-Attention-7B#intended-uses 预期用途

• 长上下文语言建模与推理（对长文档进行检索、问答、摘要）。
• 原生稀疏注意力训练与长上下文外推的研究。

https://huggingface.co/tencent/HiLS-Attention-7B#out-of-scope 超出范围

未针对安全关键部署进行对齐/指令微调。输出可能不准确或有偏见；在生产使用前请验证。

https://huggingface.co/tencent/HiLS-Attention-7B#how-to-use 使用方法

HiLS-Attention 无法通过标准的 transformers 的 AutoModel API 直接加载——必须通过 HiLS-Attention 代码库注册自定义的分层稀疏注意力。请按照 GitHub 仓库 (https://github.com/Tencent-Hunyuan/HiLS-Attention) 的设置环境并运行模型，特别是 评估 部分（参见 eval/ 和 scripts/eval/），其中展示了如何使用相应的 HiLS 配置加载检查点并运行生成/评估。

为了高效的长上下文服务，SGLang 推理支持已在路线图中——请查看 GitHub repo (https://github.com/Tencent-Hunyuan/HiLS-Attention) 获取更新。

https://huggingface.co/tencent/HiLS-Attention-7B#evaluation 评估

该模型在短上下文、中等上下文和长上下文基准上进行了评估。完整的脚本可在 GitHub 仓库 (https://github.com/Tencent-Hunyuan/HiLS-Attention) 中找到。

https://huggingface.co/tencent/HiLS-Attention-7B#long-context 长上下文

https://huggingface.co/tencent/HiLS-Attention-7B#short-context-opencompass-11-benchmarks 短上下文（OpenCompass，11 个基准）

https://huggingface.co/tencent/HiLS-Attention-7B#training 训练

• 方法： 在 OLMo3-7B 骨干网络上使用原生稀疏注意力（HiLS-Attention）进行持续预训练。
• Tokens： 约 500 亿持续训练 tokens。
• 位置编码 / 长上下文： HoPE 结合基于 YaRN 的长度外推。

训练和持续预训练脚本在 GitHub 仓库 (https://github.com/Tencent-Hunyuan/HiLS-Attention) 中有文档说明。

https://huggingface.co/tencent/HiLS-Attention-7B#limitations-and-bias 限制与偏见

这是一个未经过对齐或安全微调的预训练基础模型。它可能反映出训练语料中存在的偏见，并可能产生不准确或不安全的内容。用户有责任评估其是否适合自己的用例。

https://huggingface.co/tencent/HiLS-Attention-7B#citation 引用

@misc{hu2026hierarchicalsparseattentionright, title={Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling}, author={Xiang Hu and Xinyu Wei and Hao Gu and Minshen Zhang and Tian Liang and Huayang Li and Lei Zhu and Yan Wang and Sirui Han and Yushi Bai and Kewei Tu and Haitao Mi and Leo Liang}, year={2026}, eprint={2607.02980}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2607.02980}, }