efficient-training

灯塔注意力是一种仅用于训练的、基于层次选择的注意力算法，它降低了因果Transformer长序列训练的计算复杂度，通过恢复阶段后的竞争性最终损失实现更快的预训练。

# 论文页面 - Motif-Video 2B：技术报告 来源：[https://huggingface.co/papers/2604.16503](https://huggingface.co/papers/2604.16503) 作者：、、、、、、、、、、、、、、、、、、、、、 ## 摘要 Motif-Video 2B 采用共享交叉注意力与三段式主干的专用架构，以及高效训练方法，在显著降低参数量和训练数据用量的同时，实现了高质量文本到视频生成。

LlamaFactory 是一个统一框架，通过基于 Web 的界面实现了100多个大型语言模型的高效微调，无需编写代码。