active-parameters

标签

Cards List
#active-parameters

@MaximeRivest:仅需 60 亿活跃参数即可超越 Opus 4.5。这意味着 60 亿参数就能推断出正确的下一个词元,且性能仍高于 Opus 4.5……

X AI KOLs Timeline ↗ · 2026-10-02 缓存

Maxime Rivest 认为,仅需 60 亿活跃参数即可超越 Opus 4.5,这意味着通过 mixture-of-experts 路由机制,使用不到约 240 亿参数就能实现前沿水平的性能。他鼓励人们更有信心地对开源模型进行微调,以与大型实验室竞争。

0 人收藏 0 人点赞
#active-parameters

思路:在CPU上,解码速度取决于每个token的活跃参数,而非总参数。我的目标是尝试在中等配置PC(无GPU)上以100tok/s运行一个10B模型。

Reddit r/LocalLLaMA ↗ · 2026-07-29

提出了CPU解码速度取决于每个token的活跃参数而非总参数的见解,并提出一个使用三元权重和细粒度MoE的10B参数模型,以在中等配置PC上实现高token速率。报告了沙箱测量结果,显示在8.3M模型上速度从176 tok/s提升到848 tok/s,且质量损失极小。

0 人收藏 0 人点赞
#active-parameters

Sigma-Branch: 面向动态推理的分层单路径网络重构,减少活跃参数

arXiv cs.LG ↗ · 2026-06-10 缓存

Sigma-Branch 将预训练的稠密网络重构成一个层次化二叉树结构,包含共享主干、路由器和专用叶子节点。在 CIFAR-100、ImageNet-1K 和 ModelNet40 上,每次推理的活跃参数减少 58-60%,同时精度下降不超过基线精确率的 1.72 个百分点。

0 人收藏 0 人点赞
#active-parameters

MoE模型中活跃参数数量是否有上限?

Reddit r/LocalLLaMA ↗ · 2026-05-14

关于混合专家(MoE)模型中活跃参数数量限制的讨论,质疑是否存在一个活跃参数数量的上限,超过该上限后质量不再提升。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈