transformer-training

一个原生Rust和Vulkan训练后端已为143种Transformer架构开发，支持无CUDA的模型训练和推理，并兼容多种硬件供应商。

本文揭示了Transformer训练中Weibull权重尺度的增长由数据可预测性决定，具体是通过双字母组合条件熵实现的，并建立了该增长的预测定律。

一个交互式、可探索的解释，介绍各种用于训练Transformer的并行化方案，改编自关于模型扩展的学术内容。

介绍了SymExpLin (SEL)，一种结合对称指数路径和线性路径的权重重参数化方法，用于改进神经网络的优化，在Transformer上将训练步数减少最多1.49倍。

一位开发者逆向工程了苹果的私有 API，使得在 M4 Mac 和 iPhone 的 Apple 神经网络引擎（ANE）上直接训练神经网络成为可能，绕过了 CoreML 和 GPU。该项目表明 ANE 硬件能够进行训练，尽管存在利用率低以及某些操作回退到 CPU 等限制。

介绍了KV-Compression Aware Training (KV-CAT) 方法，该方法鼓励Transformer在训练过程中学习可压缩的键值缓存，在不牺牲性能的情况下提高长上下文任务的记忆效率。