标签
本文提出了一种面向N:M稀疏视觉Transformer推理的软硬件协同设计框架，通过一种新颖的CUDA内核（MD-SpMM）和部署感知的稀疏性搜索，在保持准确性的同时，在GPU上实现了超过2.2倍的延迟加速。
详细介绍了针对语音克隆模型的W4A4 CUDA内核优化，通过INT4量化和融合LoRA，实现了比FP16快2.6倍的推理速度。
MIT HAN Lab 提出了一种利用AI agent流程自动设计和优化CUDA kernel的方法，通过任务合约、agent循环和小步验证的工作流，使agent能在专业工具链中自主迭代优化，替代手工调优。
面壁智能开源了由AI Agent自主编写的预训练框架ForgeTrain，在H100上达到44% MFU，比Megatron-LM高约10%，实现了AI自我进化迭代。
Luce Megakernel 证明NVIDIA的效率差距是软件问题，在RTX 3090上相比llama.cpp实现了1.8倍吞吐量，并以更低的成本匹敌Apple M5 Max的效率。
BEAM通过二值专家激活掩码实现混合专家大语言模型的动态路由，在最小化性能损失的情况下将FLOPs减少高达85%，解码速度提升2.5倍。