ffn

Prox是一个用于LLM中稀疏SwiGLU FFN的免训练框架，利用近似中间通道显著性来构建通道掩码，无需密集计算。在十个LLM上，Prox优于免训练基线，在70%稀疏度下实现了高达1.99倍的端到端解码加速。

本文提出FADE，一种无需训练的方法，通过削弱关键层的FFN输出来减少语言先验主导性，从而缓解大型视觉语言模型中的幻觉，并在多个基准测试中证明了有效性。

一名学生介绍了Silia，这是一种新颖的Transformer架构，将注意力机制和前馈网络合并为统一操作，以在≤10M参数规模下节省参数，尽管计算资源有限，仍以更少的参数实现了与GPT-2相当的性能。