【讨论】在循环模型的时代,「活跃参数」意味着什么?

Reddit r/LocalLLaMA 新闻

摘要

一场讨论探讨如何为循环(权重复用)Transformer 模型定义「活跃参数」,提出活跃参数应随循环次数缩放,以保持其作为每 token GB(TG)和每 token FLOPs(PP)估计值的意义,并以 Inkling 2 Mini、SenseNova-Loop-9B 和 Nanbeige4.2-3B 等模型为例进行说明。

循环模型似乎正在逐渐崭露头角(终于!),这也引出了一个问题:「总参数」和「活跃参数」这些术语究竟意味着什么。从历史上看,这些术语主要应用于 MoE 模型,因为在给定 token 下大多数专家并不会被激活。总参数代表容纳模型权重所需的内存量,而活跃参数则代表每个 token 需要读取的内存量(或者类似地,每个 token 的 FLOPs)。对于循环 Transformer,我认为最好的扩展方式是增加活跃参数的数量,使其能够继续作为每 token GB(TG)和每 token FLOPs(PP)的估计值。我认为继续将 PLE、Engrams 和 token 嵌入(如果没有权重绑定)排除在这两项统计之外是可以的,因为它们极其稀疏,甚至可以卸载到 SSD 上。现在来看一个例子:想象一个稠密模型,有 40 亿个独立参数(不含嵌入)。如果每层运行两次,那么总参数是 4B,活跃参数是 8B*。如果只有 50% 的层运行两次,则总参数是 4B,活跃参数是 6B。其他实际例子:Inkling 2 Mini 是一个 MoE 模型,总参数 26B,活跃参数 5B(50% 的层运行三次)**;SenseNova-Loop-9B 是一个稠密模型,总参数 9B,活跃参数 15B(75% 的层运行两次);Nanbeige4.2-3B 是一个稠密模型,总参数 3B,活跃参数 5.5B(100% 的层运行两次)。我认为这种方式更有助于衡量我们真正关心的东西,即运行给定模型的成本或速度,并且很可能最终也会成为模型「智能程度」的一个很好的代理指标。你怎么看? \ 这是一个高估值,因为它忽略了输出层的大小,并假设所有层的大小相同。如果你知道该层的大小,可以将其从乘法中排除,例如,如果它是 10 亿参数,那么在 50% 的情况下,实际活跃参数为 [4-1]*1.5+1 = 5.5B。我在实际例子中就是这样计算的。 \* 对于 Inkling 2 Mini,我的计算结果与他们公布的数字对不上,他们的数字看起来偏高?我忽略循环时得到 2.7B,计入循环后得到 4.9B,而他们声称是 3.4B 和 5.4B,即使在逐个统计了他们 GGUF 文件中的每个张量之后仍然如此。不清楚差异出在哪里。
查看原文

相似文章

什么是 Looped Transformers?清晰解释(8分钟阅读)

TLDR AI

Looped transformers 在多次传递中重复使用相同的层,以参数数量换取计算量,用更少的权重实现更好的推理。文章追溯了这一想法到 Universal Transformer (2018),并解释了其最初因扩展定律和时机而失败的原因。

DeepLoop:循环Transformer的深度缩放

arXiv cs.LG

DeepLoop为循环Transformer引入了一种残差缩放方法,该方法根据参数访问进行调整,从而在物理块跨多轮重用时提高稳定性和性能。

Looped World Models

Hugging Face Daily Papers

Looped World Models 通过共享的Transformer块引入迭代潜在状态细化,实现了100倍的参数效率,同时根据预测复杂度自适应调整计算深度。