swiglu

TriPLU 为微型仅解码器语言模型引入了直接三线性积前馈网络，展示了在低计算环境下验证损失优于 SwiGLU 的结果。

一篇研究论文，介绍了一种多阶段前向查询方法，用于密码分析提取孤立无偏置GLU前馈块权重，在Qwen、Llama和Gemma组件上展示了亚百分比的恢复精度，同时指出端到端模型API攻击仍未解决。

Prox是一个用于LLM中稀疏SwiGLU FFN的免训练框架，利用近似中间通道显著性来构建通道掩码，无需密集计算。在十个LLM上，Prox优于免训练基线，在70%稀疏度下实现了高达1.99倍的端到端解码加速。

提出了一种置信感知的SwiGLU（κ-SwiGLU），它根据token级路由置信度调整混合专家模型中专家门控的锐度，以最小的计算开销提升了性能。