dma-throughput

标签

Cards List
#dma-throughput

从苹果神经引擎中恢复 50 GB/S 的性能

Hacker News Top ↗ · 2026-09-10 缓存

在苹果 M3 神经引擎中,当权重大小为 1 MiB 的倍数时,发现了性能节流问题,导致吞吐量下降。通过避开有问题的 DMA 路径,Llama 3.2 和 Qwen3-8B 等模型的 token 吞吐量得到了显著改善。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈