我为Apple Silicon打造了最快的本地AI引擎。专为代理式使用优化。
摘要
作者宣布发布'lightning-mlx'，这是一个针对Apple Silicon优化的本地AI引擎，可为编码代理和工具调用工作流实现高令牌速度。
https://preview.redd.it/p0rqofxvrtzg1.png?width=1460&format=png&auto=webp&s=8ce5b18b4ddaad9b71f71fd8eb623839fc9c6c8b 几周来我一直在为Apple Silicon打造最快的本地AI引擎……我终于做到了！它专为代理式使用优化，特别聚焦于编码代理、工具调用和短轮次工作流。仓库：[https://github.com/samuelfaj/lightning-mlx](https://github.com/samuelfaj/lightning-mlx) 来自我的Macbook Max M5（128GB）的一些结果：* Qwen3.6-27B **40.67 tok/s** * Qwen3.6-35B-A3B **220.86 tok/s** 欢迎就以下方面提供反馈：1. 针对本地编码代理的更好基准设计 2. MTPLX预设默认值是否合理 3. 应测试的其他Apple Silicon配置
相似文章
@jianchen1799: 本地模型现在可以处理智能体工作负载。本地推理引擎需要迎头赶上。今天我们发布 Splash: …
Inco AI 发布 Splash，一款针对 Apple silicon 优化的开源推理引擎，声称解码速度最高提升3倍，用于本地模型服务，使得 M5 Max MacBook Pro 等设备能够支持智能体工作负载。
优化Apple Silicon设备端推理（20分钟阅读）
Apple的Lily引擎通过利用统一内存和硬件，优化了Apple silicon上的设备端LLM推理，性能超越MLX-LM，并针对Qwen3.6-35B-A3B模型架构进行了调优。
@awnihannun: Three MLX videos dropped at WWDC: Running agents locally by @angeloskath https://youtube.com/watch?v=wykPErJ8M-8… Distr…
Three MLX videos from WWDC demonstrate running AI agents entirely locally on Apple Silicon using the MLX stack, including local inference, tool calling, and distributed inference across Macs, enabling no-cloud, offline AI workflows.
@ddalcu: 过去4天本地AI真是疯狂……太不可思议了…… https://github.com/ddalcu/mlx-serve/releases/tag/v26.8.2… @liquidai ……
一位开发者更新了 MLX-Serve（一个面向 Apple Silicon 的快速本地推理服务器），以支持近期模型，如 LiquidAI 2.6B、MiniMax H3 视频生成和 DeepSeek V4 Flash，AntLing 3.0-flash 即将推出。
Local
一款名为Local的新产品为Mac用户提供零摩擦的本地AI功能，实现轻松的设备端AI处理。