@bstnxbt: dflash-mlx v0.1.6 发布。迄今为止最大的代理更新:► 在真实的OpenCode/编码代理会话中更实用 ►…
摘要
dflash-mlx v0.1.6 已发布,带来重大代理改进,包括自适应验证、自定义内核、前缀缓存改进,以及与 OpenCode、aider、Continue 等代理编码工具的更广泛兼容性。
dflash-mlx v0.1.6 发布。迄今为止最大的代理更新:► 在真实的OpenCode / 编码代理会话中更实用 ► 自适应验证现已成为长上下文工作的默认路径 ► 新的自定义验证内核 + 更好的自适应 M4 回退 ► 为大型 DFlash 草稿提供草稿 W4 路径 ► L1 RAM + L2 SSD 前缀缓存改进 ► 针对重复代码/结构化延续的 CopySpec 重用 ► 为 OpenCode、aider、Continue、Open WebUI、LM Studio 提供更干净的 OpenAI 兼容服务 ► 更好的工具调用流式处理 + 最小化 Responses API 支持 ► Gemma 4 路径改进 ► Qwen3-Next 最小化融合 GDN 支持 ► 快速短输出回退现已可选加入 我主要围绕 Qwen3.6 27B 4-bit 进行此版本。期待在真实的代理编码会话中测试它的人们的反馈。
相似文章
@Prince_Canuma:今天我们发布了最大规模的 MLX-VLM 更新:v0.6.0 ……并且我们正在提升。这次更新旨在将你的 Apple 设备……
MLX-VLM v0.6.0 已发布,新增推测解码、兼容 Anthropic API 的智能体服务器、新模型(DeepSeek V4、ZAYA1-VL 等)、图像生成/编辑以及音频输入支持,使 Apple 设备上能运行本地 AI 智能体。
@bstnxbt:DFlash v0.1.4:为量化版 Qwen3 混合模型提供自定义 Metal 验证内核,并显著降低峰值内存占用……
DFlash v0.1.4 发布了面向量化版 Qwen3 混合模型的自定义 Metal 验证内核,在 M5 Max GPU 上可显著降低峰值内存占用,并在长上下文场景下实现 2.2 倍吞吐量提升。
@jundotkim: oMLX 0.3.9rc1 发布。亮点:- 低内存Mac保持稳定,不再被系统杀死 - DFlash 升级至…
oMLX 0.3.9rc1,一个为Apple Silicon Mac优化的LLM推理服务器,增加了低内存稳定性、分块预填充、多任务管理聊天等功能。
@jundotkim: oMLX 0.3.9.dev2 已发布。亮点包括:- 视觉路径上的 Gemma 4 MTP(感谢 @Prince_Canuma 的 mlx-vlm)。图像+文本的解码速度显著提升 -...
oMLX 0.3.9.dev2 已发布,带来了对 Gemma 4 的改进支持、DFlash 引擎集成以及 ParoQuant 功能,优化了在 Apple Silicon 上的本地 LLM 推理体验。
有多少人试过 BeeLlama.cpp?效果如何?8GB 显存能跑智能体编程吗?
本文讨论了 BeeLlama.cpp,这是一个提供高级 DFlash 和 TurboQuant 特性的分支项目,并征求社区关于其在显存有限硬件上运行智能体编程的性能反馈。