标签
John Ternus 祝贺团队高效地在 Mac Studio 上运行大型模型 Muse Spark Open，凸显了端侧 AI 性能的进步。
BitRun 是一个可在普通笔记本 CPU 上零编译运行 1-bit 三值 LLM 的独立工具，在 Apple M4 Pro 上可达 98–127 t/s、Intel i5 上 40–45 t/s，并修复了微软 bitnet.cpp 代码库中的多个底层 C++ 内核 bug 并提交了上游 PR。
演示中，Qwen3.8-27B 使用 UD-Q2_K_XL 量化和全量 Metal 卸载，在配备 16GB 统一内存的 M1 MacBook 上本地运行，生成速度达到约 4 token/秒（使用推测解码时约为 5.5 token/秒）——这表明，大型开放权重模型可以在许多人已经拥有的硬件上运行。
一篇详细的技术文章，介绍把 M5 Ultra 256 GB 用于 prefill、M3 Ultra 512 GB 用于 decode 的配对方案：在 MLX 上运行 GLM-5.3-Flash，通过 Thunderbolt 5 RDMA 做分离式推理，将长 prompt 的首 token 延迟从约 40 秒降到约 18.5 秒。
苹果研究人员推出了 Minions，这一系统将多台 macOS 设备上闲置的 Apple Silicon GPU 汇聚成一个动态、容错的分布式虚拟 GPU 云，用于大规模机器学习推理，为集中式 GPU 基础设施提供了一种更具成本效益的替代方案。
谷歌的 EmbeddingGemma 2 嵌入模型被改造成了一款语音转文字工具，通过在冻结的音频编码器之上添加一个经过训练的小型读取器，可在基础款 MacBook Air 上完全于本地运行，用约 13 秒转录一小时的音频。
作者系统整理了本地部署模型的加速方案，包括在 macOS 上结合 Turbo、MLX、VAE Q8 和前缀 KV cache 让 Qwen-Image 2.1 提速近 5 倍，以及用 Uzu 的投机解码把 Qwen3.5-9B 从 22 tok/s 提升到 92 tok/s、用 TensorRT 让 Qwen 在 RTX 5090 上比 llama.cpp 快 3 倍等案例。
作者介绍了 sift-light 的构建过程。这是一个面向编码智能体、以证据为先的本地搜索层，优先采用精确搜索和可验证的来源，而非看似合理的语义猜测，并新增了在 Apple Silicon 上对图像和扫描版 PDF 进行视觉检索的功能。
strata-mlx 更新：中断的长对话不再重读，10K token 会话的首字符输出时间从 19.7 秒降至 0.26 秒（M4 Max），并优化了 32 GB Mac 的内存管理，避免 swap。该项目是运行 Qwen3.8-Flash-Next 等 125B MoE 模型的 Apple Silicon MLX 推理引擎，吞吐量显著优于 llama.cpp 和 LM Studio。
Crest 是一款受 Arc 启发的开源浏览器，支持 Mac、iPad 和 iPhone，提供 Spaces、侧边栏、Split View、Peek 等功能，并可从 Arc、Zen、Chrome、Safari 等浏览器导入数据，目前处于早期访问阶段。
Decision 3.0 已转换为面向 Apple 芯片的 Core ML 版本，在 M5 Pro 上完全在设备端将 1,000 个 pull request 分类到 vllm-sr 工作组中，每个 PR 仅需 0.12 秒，lite、nano 和 mini 三个变体已统一在一个仓库中。
这篇帖子通俗解释了投机解码（Speculative Decoding）的工作原理——草稿模型预测、目标模型并行验证并以概率方式接受或纠正——并介绍了开源引擎 Uzu，它在 Apple Silicon 上结合并行起草、连贯草稿路径与免回滚验证，使 4-bit Qwen3.5 9B 的推理速度从 llama.cpp 的 22 tokens/s 提升到 92–117 tokens/s。
strata-mlx 更新：在低内存 Mac 上提升推理速度但增加内存占用，新增 --check 性能预检命令，并评估了专家预测预取方案的收益（仅 1.35x 上限，未实施）。
用户惊叹于在 M3 Max 64GB Mac 上通过 oMLX 成功运行 Qwen3.8-Flash-Next-oQ4e-mtp 这个约 100GB 的模型，58GB 分配给 GPU，并支持最高 130k 上下文窗口，展示了本地大模型推理性能的显著提升。
基准测试帖：Mirai 开源的推理引擎 Uzu 在 16GB M5 MacBook Pro 上运行 Qwen3.5-9B 达到 92.1 tokens/s——比 llama.cpp（22 tok/s）和 MLX（25.1 tok/s）快约 4 倍——通过使用基于树的投机解码和 Weaver 草稿模型，突破了普通本地解码的内存带宽瓶颈。
PocketWebTools for Mac 推出，一款在 Apple Silicon 上本地运行最高 35B 参数开源模型的付费应用，提供聊天、带说话人标注的转录、视频剪辑、图片超分和 PDF 文字提取等功能，所有文件保留在本地设备上，一次付费 99 美元含终身更新。
文章介绍开源推理引擎 Uzu（Mirai 出品），通过最多提前草拟 16 个 token 的推测解码与为 Apple M5 优化的 kernel，在 M5 芯片上运行 4-bit Qwen3.5 9B 达到 92-117 tokens/s，远超 llama.cpp 与 MLX 的 22-25 tokens/s，并解释了 batch-one 解码的内存带宽瓶颈原理。
Lithos 开源了 lithos-metal，一个为 Apple Silicon 生成 Metal 超级内核（megakernels）的推理引擎，配合 DSpark 投机解码可在单台 M5 Max 上以每用户 200+ tokens/s 的峰值速度运行 Qwen3.8-27B，支持一行命令接入各类 coding agent。
UkisAI 的 Swift 1.5（基于 Qwen 3.8 Flash Next）的社区 MLX 量化版本，4.7bpw，专为搭载 M5 Ultra 的 96GB Mac Studio 调优，预填充/解码速度表现出色，与 BF16 模型的 top-1 一致率达到 91%。
Udon 是一个控制面板，用于在 Mac mini 或 Apple Silicon Mac 上自托管应用、容器、存储和监控，可通过浏览器、移动伴侣应用或内置 AI 系统管理员助手进行管理。