标签
开源 Apple Silicon 推理引擎 Kapitsa 0.2.26 公布了 Qwen、Nemotron、Flint 和 Clover 模型在 M5 Max 上的基准测试结果，展示了其 KFlash 最佳优先树验证技术和 SSD 卸载功能，可在配备 48GB 内存的 MacBook Pro 上以每秒 61 个 token 的速度运行 180B 参数的 MoE 模型。
PyTorch 2.15 为 Mac 用户带来了 MPS 后端的重大改进，包括 FP8 支持、MoE 模型解码速度提升 5-6.5 倍、softmax 速度提升 8 倍，以及视频 VAE 解码内存占用的大幅降低。这些改进由 Hugging Face 的 PyTorch 团队和社区贡献者共同推动。
Nace.ai 发布开源（Apache 2.0）Apple Silicon 优化 Metal 推理引擎 Kapitsa，专为 Qwen 和 Nemotron 模型定制内核，并在 M1 Pro、M4 Pro、M5 Max 上公布对比 MLX、llama.cpp、Ollama 等引擎的解码基准。
这项工作将ggml的Metal内核集成到transformers库中，使GGUF模型能够直接运行，提升兼容性和性能，实现Mac上的快速本地推理。
oMLX 0.5.2 版本新增了实时菜单栏活动、重新组织的模型菜单、Bonsai 低位内核，以及通过自定义 Metal 内核和原生推测解码实现的性能提升，使其成为在 Mac 上运行 MLX 模型的最快方式。
在自定义Rust内核和Swift调度逻辑的优化下，Qwen3.6-35b-A3B模型的预填速度在2k提示下从255 tok/s提升到1058 tok/s，实现了约4倍的加速，解码和困惑度未受影响。
独立研究者发布了 Spiral，这是一款专为 Apple Silicon 设计、利用自定义融合 Metal 内核将大语言模型（LLM）压缩至 INT3、KV 缓存压缩至 INT2 的工具，目前已提供 Qwen-7B 预览版。
DFlash v0.1.4 发布了面向量化版 Qwen3 混合模型的自定义 Metal 验证内核，在 M5 Max GPU 上可显著降低峰值内存占用，并在长上下文场景下实现 2.2 倍吞吐量提升。