tiny-language-models

标签

#tiny-language-models

TriPLU：在微型语言模型中通过直接三线性积前馈网络绕过门控

arXiv cs.CL ↗ · 2026-08-24 缓存

TriPLU 为微型仅解码器语言模型引入了直接三线性积前馈网络，展示了在低计算环境下验证损失优于 SwiGLU 的结果。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈