@techNmak: 每个人都在微调LLMs。几乎没人知道模型内部到底在更新什么。这里有5个技术…

每个人都在微调LLMs。 几乎没人知道模型内部到底在更新什么。 这里有5个技术，它们改变了你对模型适配的看法，以及每个技术对权重实际做了什么： 1./ LoRA - 学习更新，而不是权重 预训练权重W被冻结。完全不受影响。 不是直接更新W，而是训练两个小矩阵 => A ∈ ℝʳˣᵈ 和 B ∈ ℝᵈˣʳ，其中 r ≪ d 权重更新为：ΔW = BA 有效权重：W' = W + BA 整个适配发生在一个微小的低秩空间中。W从不改变。 2./ LoRA-FA - 如果我们冻结更多会怎样？ 结构与LoRA相同。一个改变。 A与W一起被冻结。只有B被训练。有效权重：W' = W + BA（A固定） 可训练矩阵是LoRA的一半。相同的核心思想。更少的参数。 3./ VeRA - 如果矩阵根本不需要学习会怎样？ 这里变得有趣了。 A和B都被冻结，并且随机初始化。训练的只是两个微小的缩放向量 => b ∈ ℝʳ 和 d ∈ ℝʳ VeRA不是学习低秩矩阵本身，而是保持它们冻结，并学习缩放向量来调制它们的贡献。 初始化 => b = 0, d = 1 你不是在学习矩阵。你是在学习如何缩放它们。 这是列表中参数效率最高的技术之一。 4./ Delta-LoRA - 如果W本身从低秩更新中学习会怎样？ 这个根本不同。 与标准LoRA不同，基础权重W没有被完全冻结。它通过每一步的低秩增量传播被更新 => W^(t+1) = W^t + c(B_(t+1)A_(t+1) − B_t A_t) 其中c是一个缩放因子。 A和B是可训练的。W在演变，但完全由低秩变化引导。 5./ LoRA+ - 相同的结构。更智能的学习率。 与LoRA相同，冻结W，训练A和B。 一个改变 => B被分配比A更大的学习率。η_B > η_A A ← A − η_A · ∂J/∂A B ← B − η_B · ∂J/∂B 一个小的优化改变可以使LoRA训练更有效。 贯穿所有五个的核心思想： 你并不总是需要完全微调来适配模型。 LoRA更新两个矩阵。 LoRA-FA更新一个。 LoRA+以不同速度更新两个。 Delta-LoRA让W演变 - 由低秩增量引导。VeRA更新两个向量。 相同的目标。对同一个问题的五个不同答案： => 我们实际需要学习的最小值是什么？ 这就是参数高效微调背后的核心思想。 现在你知道了模型内部实际发生了什么。