transformer-architectures

本综述论文调查了大模型在电池预测与健康管理中的应用，探讨了该领域长期存在的挑战，并提出了未来研究路线图。

本文解释了嵌入模型及其在LLM推理中的作用，涵盖架构、流量特征和量化等优化技术。

本文提出了一种级联多粒度剪枝框架，用于在工业物联网边缘设备上部署大语言模型，在MHA+GELU架构上实现了高达13.8倍的压缩，且精度损失极小，同时揭示了GQA+SwiGLU设计上的性能崩溃。

本文分析了循环（权重共享）变换器中的残差缩放问题，表明权重共享需要比标准残差网络更强的缩放（1/N），并推导出一种因式参数化方法，使得超参数可以在不同循环次数之间迁移，无需重新调参。