我为Apple Silicon打造了最快的本地AI引擎。专为代理式使用优化。
摘要
作者宣布发布'lightning-mlx'，这是一个针对Apple Silicon优化的本地AI引擎，可为编码代理和工具调用工作流实现高令牌速度。
https://preview.redd.it/p0rqofxvrtzg1.png?width=1460&format=png&auto=webp&s=8ce5b18b4ddaad9b71f71fd8eb623839fc9c6c8b 几周来我一直在为Apple Silicon打造最快的本地AI引擎……我终于做到了！它专为代理式使用优化，特别聚焦于编码代理、工具调用和短轮次工作流。仓库：[https://github.com/samuelfaj/lightning-mlx](https://github.com/samuelfaj/lightning-mlx) 来自我的Macbook Max M5（128GB）的一些结果：* Qwen3.6-27B **40.67 tok/s** * Qwen3.6-35B-A3B **220.86 tok/s** 欢迎就以下方面提供反馈：1. 针对本地编码代理的更好基准设计 2. MTPLX预设默认值是否合理 3. 应测试的其他Apple Silicon配置
相似文章
@awnihannun: Three MLX videos dropped at WWDC: Running agents locally by @angeloskath https://youtube.com/watch?v=wykPErJ8M-8… Distr…
Three MLX videos from WWDC demonstrate running AI agents entirely locally on Apple Silicon using the MLX stack, including local inference, tool calling, and distributed inference across Macs, enabling no-cloud, offline AI workflows.
mlx-code — 用于Apple Silicon的本地LLM编码代理
mlx-code是一个Python包，为Apple Silicon提供了一个本地优先的LLM编码代理，集成了MLX推理服务器、多协议API支持、git工作树隔离以及可组合的多智能体原语。
@julien_c：Apple Silicon 是本地AI之王吗？
关于Apple Silicon是否是运行本地AI模型的最佳硬件的讨论，引用了一篇相关文章或讨论串。
New MLX LM Server From Apple
Apple MLX 团队推出 MLX LM Server，一个在 Mac 上完全本地运行 AI 智能体工作流的工具，支持连续批处理、分布式推理和 M5 神经加速，无需云端或 API 密钥。
我构建了mlx-Chronos——一个面向Apple Silicon上本地LLM引擎的社区基准测试排行榜（oMLX、Rapid-MLX、mlx-lm、Ollama）
一位计算机科学学生构建了mlx-Chronos，这是一个开源命令行工具，通过测量TTFT、吞吐量、内存使用和热状态，标准化Apple Silicon上MLX推理引擎的基准测试，并提供一个社区排行榜来分享结果。