transformer-training

介绍了SymExpLin (SEL)，一种结合对称指数路径和线性路径的权重重参数化方法，用于改进神经网络的优化，在Transformer上将训练步数减少最多1.49倍。

一位开发者逆向工程了苹果的私有 API，使得在 M4 Mac 和 iPhone 的 Apple 神经网络引擎（ANE）上直接训练神经网络成为可能，绕过了 CoreML 和 GPU。该项目表明 ANE 硬件能够进行训练，尽管存在利用率低以及某些操作回退到 CPU 等限制。

介绍了KV-Compression Aware Training (KV-CAT) 方法，该方法鼓励Transformer在训练过程中学习可压缩的键值缓存，在不牺牲性能的情况下提高长上下文任务的记忆效率。