Command A+ (218B MoE) 在 Apple Silicon 上运行 — MLX 移植，PR 已开放

Reddit r/LocalLLaMA 工具
mlx cohere apple-silicon moe inference open-source command-a-plus

摘要

mlx-lm 的一个 PR 为 Cohere 的 Command A+ (218B MoE) 模型在 Apple Silicon 上增加了支持，并附有架构实现细节。

Cohere 于 20 日发布了 Command A+（总计 218B / 激活 25B，128 专家 top-8，Apache 2.0）。为 mlx-lm 编写了 cohere2\_moe 实现，使其能在 Apple Silicon 上运行。以下架构笔记供研究人员参考： \- 单个共享专家，具有更大的中间层 (16384 = 4096×4)，通过 (routed + shared)/2 与路由输出结合 \- Sigmoid 路由（非 softmax），归一化的 top-8 \- 滑动窗口 3:1（3 个滑动 + 1 个全连接），仅在滑动层上交错 RoPE \- 并行 attn+MLP 模块共享同一 LayerNorm \- 一个让我调试多次的陷阱：W4A4 检查点中的偏置是 NVFP4 量化伪影——BF16 模型完全无偏置。sanitize() 函数可处理两种格式。 \- 我无法在本地验证（W4A4 需要 \~132GB，我的 M3 Max 只有 128GB）。 https://github.com/vlbosch 在更大配置的机器上运行了它：BF16→Q8 转换 + 清洁生成、工具调用、带 KV 缓存延续的多轮对话，生成速度 22.9 tok/s / 提示速度 57.6 tok/s，峰值内存 241GB。 PR 已在 ml-explore/mlx-lm 上开放（审查中）。欢迎反馈或修复——如果有谁拥有 192GB 以上内存并想直接测试 W4A4 路径，希望能提供错误输出。 https://github.com/ml-explore/mlx-lm/pull/1294 https://preview.redd.it/wvwa6irg6y2h1.png?width=3006&format=png&auto=webp&s=52c0a56ff7bc6ea0dec7fd4e43e79d7525047c1c
查看原文

相似文章

mlx-code — 用于Apple Silicon的本地LLM编码代理

Reddit r/artificial

mlx-code是一个Python包，为Apple Silicon提供了一个本地优先的LLM编码代理，集成了MLX推理服务器、多协议API支持、git工作树隔离以及可组合的多智能体原语。