本地 AI 在过去 4 天真是太疯狂了……太离谱了…… https://github.com/ddalcu/mlx-serve/releases/tag/v26.8.2…… @liquidai 2.6B，在 MLX-Serve NVFP4 上解码速度达 221 tok/s @MiniMax_AI H3 视频生成，虽然要花点时间，但在 MLX-Serve 上能跑，可能比其他 MLX 引擎快约 3 倍。@deepseek_ai v4 Flash 0731，128GB 以下最强模型——在 MLX 里跑起来很有挑战性，但我搞定了，而且因为 Dspark 速度飞快（约 50 tok/s）@AntLingAGI 3.0-flash，正在尽快添加支持，敬请期待下一个版本！请关注获取更新 ——

ddalcu/mlx-serve

来源：https://github.com/ddalcu/mlx-serve mlx-serve —— 苹果芯片上的统一 AI 全能引擎：聊天、编程智能体、图像、视频、音乐、语音克隆、3D

mlx-serve —— 在你的 Mac 上运行任何 LLM

兼容 OpenAI 和 Anthropic 协议的苹果芯片本地推理引擎 —— 支持 MLX 和 GGUF —— 在相同 MLX 权重下比 LM Studio 更快。无需 Python。无需云。无需 Electron。

发布 (https://github.com/ddalcu/mlx-serve/releases/latest) Star (https://github.com/ddalcu/mlx-serve/stargazers) 下载 (https://github.com/ddalcu/mlx-serve/releases) 最近提交 (https://github.com/ddalcu/mlx-serve/commits/main) License: MIT macOS (https://github.com/ddalcu/mlx-serve/releases/latest) Zig (https://ziglang.org) ddalcu%2Fmlx-serve | Trendshift (https://trendshift.io/repositories/43025)

mlxserve.com (https://mlxserve.com/) · 下载 MLX Core.app (https://github.com/ddalcu/mlx-serve/releases/latest) · 更新日志

mlx-serve 是一个原生 Zig 服务器，可在苹果芯片上运行任何 LLM —— 包括 MLX 格式模型 以及 HuggingFace 上的每一个 GGUF 模型（Qwen、Llama、Mistral、Gemma、DeepSeek V4 Flash 等等数千个）。它开箱即用地提供兼容 OpenAI 和 兼容 Anthropic 的 HTTP API，因此同一个 http://localhost:11234 可用于 Claude Code、OpenAI SDK、Continue、Cursor、Open WebUI 以及任何支持这些协议的客户端。除了文本之外，同一个服务器还能生成图像、视频、音乐、语音（含语音克隆）和 3D 模型 —— 全部在 MLX 上原生运行。随附 MLX Core，一款 macOS 菜单栏应用，提供聊天、智能体模式、MCP 工具调用和模型管理。

快速开始

使用应用（推荐）

MLX Core 是一款已签名、已公证的 macOS 菜单栏应用，内置服务器。通过进度 UI 浏览和下载模型、聊天、使用 MCP 工具运行智能体模式、生成图像/视频/音乐/语音/3D，并在设置窗口中调节每个服务器参数。无需终端，无需配置。底层服务器与 CLI 运行的是同一个二进制文件，使用相同的 http://localhost:11234，因此应用运行期间，Claude Code 和任何 OpenAI 或 Anthropic 客户端都可以直接指向它。

下载 MLX Core.app (https://github.com/ddalcu/mlx-serve/releases/latest) —— macOS（苹果芯片）最新版本

通过 Homebrew 安装

brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serve
brew install --cask mlx-core   # 应用（推荐）
brew install mlx-serve         # 仅 CLI + 服务器，无 GUI

更喜欢终端？

如果你习惯 Ollama 风格，也可以这样：

mlx-serve run gemma4           # 下载 Gemma 4 E4B（4-bit），启动服务，直接在终端聊天
mlx-serve pull qwen3.6:27b     # 仅下载（断点续传，直接从 Hugging Face 拉取）
mlx-serve list                 # 查看磁盘上已有哪些模型
mlx-serve serve                # 提供所有已拉取模型的服