@superalesha: 我拆解了Qwen3.8-27B以探究其内部工作原理。计划是从中提取一个MoE结构。每个ffn神经元都被触及，所有…

我拆解了Qwen3.8-27B，想看看它内部如何运作。计划是从中剥离出一个混合专家模型。

每个前馈网络神经元都被检测过，共1,114,112个。处理了392万token。在四张3090显卡上运行了87分钟。

结果令人惊讶：在超过90%的token上激活的神经元只有2个。

这正是你所看到的画面——每帧对应一个token。完整数据如下：

论文中的方法首先将常激活神经元整合为共享专家。在这个模型中，这样的神经元只有两个。

平滑的尾部，没有可切割的分界线。

但那些沉默的神经元确实存在：19.6%的神经元几乎从不激活，它们共同承担了总激活量的2.9%。

存在冗余空间，只是不在你预想的地方。

最后一层：87%的神经元几乎从不激活。模型中部（第16-31层）：仅9%神经元不活跃。

因此，按相同比例裁剪每层是错误的做法。这会削弱尾部结构，同时破坏承担主要工作的中间层。

Qwen3.8-27B交替使用48个廉价线性注意力层与16个全注意力层。我原本以为每种类型上方的前馈网络会形成不同激活模式。

但实际并非如此。两者的激活中位数分别为0.00229和0.00223。模式与特征完全相同。

这是个无结论的结果，但属于新发现。

我统计的前64个激活神经元，仅承载各层实际激活量的5%-14%。按此标准筛选，既能保留核心专家，又能抑制冗余部分。

在50%预算下的理想路由器：能保留99.9%的已激活神经元，但仅消耗57%能量。随机选择54%的神经元同样能保留54%的激活量。

因此这种精妙选择，在实际可能更重要的指标上仅略胜于抛硬币。

专家模块已剥离完成。第三阶段的评估将决定最终效果。

我的预测：50%的架构能勉强存活，25%将彻底失效，而拥有3个专家的第63层最可能率先崩溃。

是的，我需要完成后续工作，届时会分享全部源代码

老兄，这仅仅是个开始。成功概率微乎其微

目前尚不明确。基准测试结果将决定