更换乘积，保留参数：Transformer的关联代数层

Hugging Face Daily Papers 论文
transformers associative-algebra matrix-multiplication machine-learning efficiency research-paper

摘要

本文研究了将Transformer层中的矩阵乘法替换为关联代数积，以在保留参数的同时降低计算成本，证明了其可行性，提高了吞吐量，但存在一些性能权衡。

快速矩阵乘法算法保持乘积固定，并寻找更廉价的评估方式。我们转而探讨Transformer学习到的投影是否可以使用一种不同的、更廉价的乘积。基于一种关联代数构造，该构造用更稀疏的交互表替代了相同权重块上的普通矩阵乘法，我们构建了一个家族，当物理块大小固定时，其矩阵维度的算术运算为二次复杂度，并推导了适用于GPU执行的有限形状约束。根据Alder--Strassen界限，该构造在双线性秩上可证明是最优的，并且可以实现为与因果掩码和KV缓存解码兼容的行类型矩形投影。我们通过训练两个大约1.1亿参数的仅解码器Transformer语言模型来实证测试此方法，这两个模型使用相同的配方和123亿token预算，仅在它们的前馈层上有所不同：一个使用普通的密集矩阵乘法，另一个使用关联代数积。在四个提示领域中，代数模型实现了端到端生成吞吐量6.2--7.8%的提升，同时在所有三个报告的下游指标上得分较低。我们将这些结果视为该方法在小规模下的可行性和可训练性检查，将进一步研究留给未来工作。
查看原文
查看缓存全文

缓存时间: 2026/09/29 08:09

论文页面 - 更换乘积形式，保留参数结构：基于结合代数层的Transformer架构

来源：https://huggingface.co/papers/2609.32814 我们研究能否用另一种计算成本更低的结合积替代Transformer投影层中使用的矩阵乘法，同时保持相同的权重库与参数规模。

我们构造了一种双线性秩低于标准矩阵乘法的结合代数乘积。对于q=2的情形，该乘积的秩为6，而Strassen的2×2算法秩为7。这使得我们能够在不引入额外非线性变换的前提下替换线性投影层，同时降低其计算开销。

我们在三个层级验证该方法：包括针对Qwen与DeepSeek等多种Transformer架构的GPU投影核测试；以及两个参数规模约1.1亿、仅MLP乘法法则不同的解码器语言模型（各训练123亿token）。代数模型在四个提示领域实现6.2%–7.8%的端到端生成吞吐量提升，但在GSM8K、MBPP与IFEval基准测试中得分略低。

研究结果初步验证了在保留完整参数库的前提下，改变Transformer投影乘法法则的可行性与可训练性。

相似文章