@Raullen：Rapid-MLX 0.11.0 发布！让 Apple Silicon 上的本地模型可靠到足以运行你的代理工作流程，而不仅仅是演示…

Rapid-MLX 0.11.0 发布了！让 Apple Silicon 上的本地模型足够可靠，能够运行你的代理工作流程，而不仅仅是演示它们。 性能 • 前缀缓存复用：13.1 秒 → 0.51 秒 TTFT（在重复的 6k token 前缀上快 25.6 倍）。共享系统提示不再需要两次预填充。一个会话节省了 38,032 个 token。 • 响应缓存：656 毫秒 → 2 毫秒（快 284 倍，字节一致，无需 GPU 解码）。 • 吞吐量：Qwen3.5-4B-4bit 上每秒 152 个 token。冷启动只需几秒。 "rapid-mlx chat" 已成长为一个真正的代理 指向任意 MCP 服务器，它就能自主链式调用工具（例如：文件系统服务器 → 14 个工具 → list_directory → 答案），并配有实时工具活动界面。思考预算会在解码时强制关闭 <think> 标签，以保持响应迅速。 5 个新模型家族 • HY3 295B MoE（原生 MTP 投机解码），Qwen3-Coder-Next 80B，MiniCPM5，LFM2.x，以及一个实际可运行的 2 位三元 Bonsai。 • Kokoro TTS → Parakeet STT 往返验证，单词完美。 • Qwen3-VL 视觉，KV 缓存导出/导入，以及基于 llguidance 的结构化输出。 通过构造实现模式有效的工具调用。 如果你在本地模型上运行编码代理，你就会知道“几乎 JSON”的参数破坏解析器的痛苦。0.11.0 限制了解码本身——模型无法发出格式错误的工具调用。 • 在 harmony/gpt-oss、qwen3_coder_xml、gemma4、deepseek_v3 以及 hermes 上验证。 • 自动、强制和必需。默认开启，无需任何标志。 • 关键点：现在也适用于推理模型！<think> 标签不再因语法偏移问题而破坏强制调用。 可靠性与坦诚的差距 每个版本都会运行自动化的自用测试（5 个模型 × 11 项检查在真实硬件上）。无效模式 → 诚实的 400 错误。未知模型 → 404 并列出可用选项。没有静默回退。差距：Qwen3.6 原生 MTP 暂时搁置，同一台机器上的 Ollama 对比测试即将进行。 现已加入 homebrew-core brew install rapid-mlx rapid-mlx chat qwen3.5-4b-4bit Apache-2.0 许可，MLX 原生。3.4k Star——搞坏它然后告诉我们，问题会快速得到回复。