标签
Nous Research 推出了 Lighthouse Attention，这是一种仅用于训练的次二次方包装器，旨在加速扩展点积注意力（SDPA）的长上下文预训练。该包装器可在部署前移除，从而保持原生推理效率。