@jundotkim: oMLX 0.3.9.dev2 已发布。亮点包括：- 视觉路径上的 Gemma 4 MTP（感谢 @Prince_Canuma 的 mlx-vlm）。图像+文本的解码速度显著提升 -...

X AI KOLs Timeline 工具
open-source local-llm macos apple-silicon mlx-framework

摘要

oMLX 0.3.9.dev2 已发布，带来了对 Gemma 4 的改进支持、DFlash 引擎集成以及 ParoQuant 功能，优化了在 Apple Silicon 上的本地 LLM 推理体验。

oMLX 0.3.9.dev2 已发布。亮点包括： - 视觉路径上的 Gemma 4 MTP（感谢 @Prince_Canuma 的 mlx-vlm）。图像+文本的解码速度现在快得多 - DFlash 引擎上的 Gemma 4（感谢 @bstnxbt 的 dflash-mlx） - ParoQuant 支持 - omlx launch copilot 加入了 claude / codex / opencode / openclaw / pi - 管理界面中直接提供重启服务器按钮 - 当模型无法装入 RAM 时，oQ 会自动构建代理 此外，本次版本还包含大量 bug 修复，并迎来了 20 位新贡献者。感谢大家！https://github.com/jundot/omlx/releases/tag/v0.3.9.dev2…
查看原文 导出为 Word 导出为 PDF
查看缓存全文

缓存时间: 2026/05/13 00:26

oMLX

LLM 推理，针对你的 Mac 进行了优化。直接从菜单栏管理连续批处理（Continuous batching）和分层 KV 缓存。

[email protected] · https://omlx.ai/me

安装 · 快速开始 · 功能特性 · 模型 · CLI 配置 · 基准测试 · oMLX.ai

English · 中文 · 한국어 · 日本語

相似文章

jundot/omlx

GitHub Trending (daily)

oMLX 是一个用于在 Apple Silicon Mac 上进行优化 LLM 推理的新开源工具，具备持续批处理和分层 KV 缓存功能，并通过菜单栏应用进行管理。

MLX 上新的 Gemma 4 MTP？

Reddit r/LocalLLaMA

Google 发布了用于 Gemma 4 的多 token 预测草稿器，通过推测性解码加速推理，但目前对 MLX 的支持尚未确认或不可用。

Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2

Hugging Face Models Trending

SuperGemma4-26B-Uncensored-MLX-4bit-v2 是 Google Gemma 4 26B 的微调量化版本，专为 Apple Silicon 优化，在代码、推理和工具使用任务上性能提升，同时保持比原版基线更快的推理速度。