jundot/omlx

GitHub Trending (daily) 工具

llm-inference macos apple-silicon kv-caching open-source local-ai

摘要

oMLX 是一个用于在 Apple Silicon Mac 上进行优化 LLM 推理的新开源工具，具备持续批处理和分层 KV 缓存功能，并通过菜单栏应用进行管理。

支持持续批处理和 SSD 缓存的 LLM 推理服务器，专为 Apple Silicon 设计 —— 通过 macOS 菜单栏进行管理

查看原文

查看缓存全文

缓存时间: 2026/05/10 12:34

oMLX

LLM 推理，为您的 Mac 优化：持续批处理与分层 KV 缓存，直接从菜单栏管理。

[email protected] · https://omlx.ai/me

安装 · 快速入门 · 功能 · 模型 · CLI 配置 · 基准测试 · oMLX.ai

English · 中文 · 한국어 · 日本語

相似文章

X AI KOLs Timeline

oMLX 0.3.9rc1，一个为Apple Silicon Mac优化的LLM推理服务器，增加了低内存稳定性、分块预填充、多任务管理聊天等功能。

X AI KOLs Timeline

oMLX 0.5.2 版本新增了实时菜单栏活动、重新组织的模型菜单、Bonsai 低位内核，以及通过自定义 Metal 内核和原生推测解码实现的性能提升，使其成为在 Mac 上运行 MLX 模型的最快方式。

X AI KOLs Timeline

本文介绍了两个适用于 Mac 的开源 MLX 推理服务器：MTPLX 通过投机解码（无需草稿模型）优化 token 生成速度，而 oMLX 则通过持久化的 KV 缓存提升代码智能体的工作流效率。

X AI KOLs Timeline

oMLX v0.4.0 搭载了原生 Swift macOS 应用，具备重新设计的引导流程、设置界面、Hugging Face 缓存发现功能，以及改进的模型管理，用于在 Mac 上运行本地 AI。

X AI KOLs Timeline

oMLX 0.3.9.dev2 已发布，带来了对 Gemma 4 的改进支持、DFlash 引擎集成以及 ParoQuant 功能，优化了在 Apple Silicon 上的本地 LLM 推理体验。