@NousResearch: 今天我们发布Lighthouse Attention，一种基于选择的分层注意力机制，用于长上下文预训练，实现…

今天我们发布Lighthouse Attention，一种基于选择的分层注意力机制，用于长上下文预训练，在98K上下文下实现1.4-1.7倍实际时间加速。它在单个B200上的512K上下文下，其相同的前向+后向传播比标准注意力快约17倍，无需自定义稀疏注意力内核、直通估计器或辅助损失。在训练过程中，查询、键和值被对称地汇聚到一个多分辨率金字塔中。然后我们对每个金字塔头部进行评分，通过top-k级联选择一个小型分层密集子序列，在经过强制因果性的排序过程后，我们使用标准注意力进行token混合。最后进行一次简短的完整注意力恢复，将检查点转换回一个有能力的密集注意力模型。我们使用530M参数的Llama-3模型在50B tokens上进行了验证，并在上下文并行下在32个B200上进行了高达100万token的基准测试。Lighthouse Attention的工作由@bloc97_、@SubhoGhosh02和@theemozilla领导。