gradient-smoothing

介绍了深度方向梯度增强（Depth-wise Gradient Augmentation），这是一种通用的优化范式，沿着深度维度转换块级优化器更新。该方法，即梯度平滑（Gradient Smoothing），提升了包括Transformer和扩散模型在内的多种架构的优化和泛化性能。