@haoailab: 在最新的机架级 GPU 系统上，Attention-FFN 解聚还能胜出吗？我们构建了 FastAFD，一个开源的 AFD 运行时…
摘要
FastAFD 是一个开源的 serving 系统，用于在 Blackwell NVL72 上对 MoE 模型进行 Attention-FFN 解聚，相较于共置的 MoE 服务，其每 GPU 解码吞吐量提升了 1.35-1.45 倍。
在最新的机架级 GPU 系统上，Attention-FFN 解聚还能胜出吗？
我们构建了 FastAFD，一个针对 GB200 NVL72 的开源 AFD 运行时：在一个 NVLink 域内包含 72 块 Blackwell GPU。
它将每 GPU 解码吞吐量提升了 1.35-1.45 倍。
代码：https://github.com/hao-ai-lab/FastAFD…
博客：https://haoailab.com/blogs/fastafd/
查看缓存全文
缓存时间: 2026/07/14 04:23
面向MoE服务的快速注意力–FFN分离
| 博客 | X |
相似文章
DisagMoE：通过解耦 AF-Pipe 并行实现计算与通信重叠的 MoE 训练
本文介绍了 DisagMoE，一种 MoE 训练系统，通过将注意力层和前馈网络（FFN）层解耦到不同的 GPU 组来优化计算与通信的重叠。该系统基于 Megatron-LM 实现，通过解决节点间通信瓶颈，在 H800 集群上实现了高达 1.8 倍的加速。
在RTX GPU上探索FlashAttention-3/4优化
本文探讨了FlashAttention-3/4优化是否对RTX GPU有益，得出结论：由于消费级显卡的硬件限制，FA-2已是天花板。
性价比不断提升，成本不断降低
Wafer 证实，AMD MI355X GPU 在推理前沿模型（如 GLM5.2）时，提供了有竞争力的性能，且成本远低于 NVIDIA Blackwell，使用 MXFP4 量化和 sglang 框架，以不到一半的价格实现了 B200 80% 的吞吐量。
@charles_irl: dflash 高速运转
NVIDIA 宣布推出 DFlash，一种用于推测解码的开源块扩散模型，在 Blackwell GPU 上可实现高达 15 倍的推理吞吐量提升，同时保持交互性。
如果GPU能跑推理，那也应该能微调。[P]
USAF（超稀疏自适应微调）是一种新方法，允许在消费级GPU（包括AMD硬件）上微调MoE模型，仅需12GB VRAM。与无法做到的LoRA/QLoRA不同，USAF只训练最重要的稀疏权重和路由器。