标签
本文介绍了MOSAIC，一个联合优化稀疏专家混合模型架构与硬件系统以支持大规模预训练的框架，表明在考虑MFU、通信成本和并行布局时，计算最优的稀疏性并不一定是集群最优的。
本文系统性地评估了Jetson边缘设备上小型视觉语言模型的组件级量化，发现模型架构（MoE vs 稠密）显著影响量化敏感性，且量化误差在大体上是累加的，除了模态对齐路径之外。
Hawk是一个无需训练的框架，通过利用硬件感知知识来提升大语言模型在NPU内核生成上的表现，将生成准确率从49.4%提升至80.0%，并相比当前最优基线实现最高2.2倍的执行加速。
本文介绍了Gram Newton-Schulz，这是对Muon优化器中使用的牛顿-舒尔茨正交化过程的一种硬件感知优化，能够在保持模型质量的同时显著加速大型语言模型的训练。
AutoMCU是一个利用LLM的多智能体系统，可自动为微控制器单元设计神经网络，在确保硬件约束可行性的同时显著缩短定制时间。
Andrew Ng 推出了一门新的 LLM 生产落地课程，免费版可观看所有视频和基础代码。课程深入讲解 LLM 内部机制、推理优化（如量化、KV Cache、Flash Attention、投机解码）以及硬件感知优化，由 AMD 工程副总裁主讲，旨在帮助开发者将 Transformer 从学术概念转化为可调试、可优化的工程工具。