chunk-wise

腾讯发布了HiLS-Attention-7B，一个70亿参数的模型，采用新颖的块状稀疏注意力机制，端到端地学习块选择，从而实现高效的长上下文建模，并能在超过4倍训练长度的场景下进行强大的外推。