@jundotkim: oMLX 0.3.9rc1 发布。亮点：- 低内存Mac保持稳定，不再被系统杀死 - DFlash 升级至…

X AI KOLs Timeline 工具
mlx llm-inference macos release open-source apple-silicon continuous-batching

摘要

oMLX 0.3.9rc1，一个为Apple Silicon Mac优化的LLM推理服务器，增加了低内存稳定性、分块预填充、多任务管理聊天等功能。

oMLX 0.3.9rc1 发布。 亮点： - 低内存Mac保持稳定，不再被系统杀死 - DFlash 升级至 v0.1.7（感谢 @bstnxbt 的 dflash-mlx）。Qwen 思考/GDN 修复等。 - 分块预填充。长提示不再阻塞其他用户的解码 - 管理聊天中的多任务处理。并行运行多个聊天 - 管理仪表板中的实时内存条 - Hermes Agent 快速启动，"omlx launch hermes" 此外，这个周期还修复了大量bug并迎来了新贡献者。感谢大家！ https://github.com/jundot/omlx/releases/tag/v0.3.9rc1…
查看原文
查看缓存全文

缓存时间: 2026/05/19 14:46

oMLX

专为你的Mac优化的LLM推理引擎
支持连续批处理与分层KV缓存，直接在菜单栏中管理。

[email protected] · https://omlx.ai/me

安装 · 快速入门 · 功能 · 模型 · CLI 配置 · 基准测试 · oMLX.ai

English · 中文 · 한국어 · 日本語

相似文章

jundot/omlx

GitHub Trending (daily)

oMLX 是一个用于在 Apple Silicon Mac 上进行优化 LLM 推理的新开源工具，具备持续批处理和分层 KV 缓存功能，并通过菜单栏应用进行管理。