前沿Apple Silicon推理(2026年8月15日)
摘要
作者对Apple Silicon上的AI推理优化进行了为期两周的调查,发现软件生态系统碎片化,缺少前缀缓存和推测解码等关键功能,建议围绕vllm-metal等框架进行整合。
这是一篇手写文章。我花了太多时间试图在Apple Silicon上获得快速推理。本文适用于那些想了解在Mac上运行本地模型的最新进展,以及为什么他们可能没有达到社区中其他人声称的性能的人。简而言之,我过去两周全职研究了Apple Silicon上的推理优化现状,老实说,软件堆栈一团糟。没有哪个框架拥有针对最新Qwen模型的所有推理优化,而这些优化在CUDA/NVIDIA上都有:前缀缓存、推测解码、分页KV缓存、连续批处理、动态调度、闪存注意力等。在CUDA/NVIDIA上,这些功能中很多已经成熟并集成到人们实际使用的推理堆栈中。在Apple Silicon上,这些功能分散在mlx-lm、vllm-metal、各种分支、自定义模型转换和其他一堆框架中,而且很多只实现了堆栈的一部分。我发现的最大问题是,较新的Qwen模型使用混合KV/循环状态,这使得前缀缓存和推测解码很难结合在一起。此外,mlx-lm目前在模型转换过程中会丢弃内置的MTP头,因此即使模型本身支持内置推测解码,在转换后也会丢失这个必要组件。根据我的所有测试,vllm-metal是目前我找到的最接近完善Apple Silicon推理优化堆栈的东西。我认为我们应该停止在每次缺少功能时就创建另一个分支,而是先让一个堆栈正常工作,然后将相关部分上游整合到mlx-lm和vllm中。详细版本我过去两周深入研究了这个领域。理解Apple Silicon上的推理优化空间本不应该花我这么长时间,我认为这恰恰说明了当前这个领域有多糟糕。首先,llama.cpp在CUDA上集成了所有功能并正常工作。你上Reddit,看LocalLLaMA,心想,好吧,我怎么在Mac上运行这个?突然间,有一千种不同风格的项目,每个都说自己是最快的。你看着这一切,心里会想,这到底是怎么回事?这些是什么?为什么我需要所有这些?首先你听说“大家都在用LM Studio”。于是你试试LM Studio,觉得,嗯,不太对。有点慢,有些问题,诸如此类。然后你开始挖掘……你一个框架接一个框架,一个测试接一个测试地尝试,试图弄明白为什么你的Mac上的推理性能总是达不到别人所说的水平。这正是我的经历,我希望这篇文章能有助于清理这个巨大的混乱。推理优化的“背景”对于不熟悉这些内容的人来说,本地推理基本上有两个主要部分:预填充和解码。预填充是模型处理你提供的上下文并填充KV缓存的过程。假设你向服务器发送一个10k token的提示。模型处理所有这些文本,使模型进入该对话所代表的状态。然后进入解码模式。通常是自回归方式,即一次预测一个token,串行进行,直到响应结束。围绕这两个阶段有大量的优化技术。你有前缀缓存、分页KV缓存、推测解码、闪存注意力、闪存解码、连续批处理、动态调度等所有这些技术。所有这些在不同情况下都很重要。如果你运行的是一个大型多用户推理服务器,显然其中一些优化比对单个用户与模型对话更重要。但对于我所说的这种本地、长时间运行、智能体式的用例,我认为两个非常重要的优化是前缀缓存和推测解码。如果你没有这两者,我保证你会对Mac上本地模型的性能感到失望。前缀缓存有助于预填充阶段,而推测解码有助于解码阶段。前缀缓存记住你的服务器是无状态的,所以如果你进行一个长时间的智能体对话,上下文不断变大,每个请求通常意味着模型必须再次处理整个对话才能开始生成下一个响应。假设你有一个10k上下文并发送一条消息。模型处理10k tokens,进行一些推理,发送响应。然后你发送另一条消息,现在有10.5k tokens。如果没有前缀缓存,它必须再次处理整个内容。显然,随着对话变长,这会变得越来越糟糕。因此,你可能看到一个基准测试显示45 tokens/sec,但当你在真实的长时间会话中实际打开它时,突然只能得到9 tokens/sec。如果是这种情况,很可能框架没有正确执行前缀缓存,所以你只是反复支付预填充成本。很多框架会告诉你,是的,前缀缓存已实现,但这里有一个巨大的细微差别。Qwen问题目前每个人都想运行的模型,如Qwen3.8,不只是使用普通的KV缓存。它们有一个混合缓存架构。你有正常的KV缓存,但还有一个循环状态,所以这是一个混合门控DeltaNet/GDN模型(是的,这是一个深入的话题)。这个循环状态很棘手,因为它不像平面KV缓存那样工作。对于KV缓存,你可以认为它保存了你的历史记录。循环状态更像是模型的“当前”状态,因为它在你处理token时覆盖之前的状态。这就是为什么前缀缓存对这些模型来说很困难。vllm-metal最近(过去一周内)为这些混合模型添加了前缀缓存支持,但支持带有相当大的限制:你必须在前缀缓存或推测解码之间选择,不能两者兼得。他们将功能限制到这一点的原因是实际上实现起来很困难,他们需要更多时间来完善。推测解码有不同类型的推测解码实现,每年通过白皮书会有新的出现。其中一些实现使用一个单独的模型,称为草稿模型,这是很多mlx引擎分支正在做的选项(原因我会解释)。DFlash是一个最近发表的草稿模型想法的例子。可以想象,每种实现都有优点和缺点。这些草稿模型实现的缺点是它们占用更多内存,并且更容易错误预测下一个token。推测解码的另一种实现是多token预测,简称MTP。在这种实现中,模型在训练时就内置了推测解码功能。可以想象,这种实现有一些显著的好处。Qwen3.6/3.8内置了MTP头。你可以在它们的Hugging Face页面上看到。如果还不清楚的话,推测解码意味着在解码过程中你预测多个token。所以你可能猜接下来的三个token,而不是通常的一个,也许其中三分之二的token被正确推断。这让我们回到每个人都想运行的Qwen模型,如我们所知,它内置了MTP。在llama.cpp上加载Qwen3.8-27B时,这直接有效。但对于mlx-lm,这不行。为什么?有两个原因。首先,正如我之前所说,这些Qwen模型有循环状态,本质上“丢失”了历史记录,所以现在你需要将模型回滚到预测错误token之前的状态才能继续前进。对于普通的KV缓存,这相对简单,因为你可以认为之前的状态是可用的。但对于循环状态,你实际上必须恢复之前的循环状态,这意味着需要大量代码/逻辑来保存快照并从中恢复。这并非易事。
相似文章
优化Apple Silicon设备端推理(20分钟阅读)
Apple的Lily引擎通过利用统一内存和硬件,优化了Apple silicon上的设备端LLM推理,性能超越MLX-LM,并针对Qwen3.6-35B-A3B模型架构进行了调优。
苹果发布全新 Apple Silicon 端侧推理引擎
苹果在 WWDC 上发布了 CoreAI,这是一款适用于 Apple Silicon 的全新端侧推理引擎,将取代 CoreML,并通过优化推理支持多达 200 亿参数的更大模型,重点面向手机和平板设备。
BaseRT:通过原生Metal在Apple Silicon上实现最佳LLM推理
BaseRT是一个专为Apple Silicon上的LLM构建的原生Metal推理运行时,在测试模型上,其解码吞吐量比llama.cpp高出1.56倍,比MLX高出1.35倍。
60秒AI工程新闻:2026年7月14日
每日AI工程新闻汇总,涵盖Codex用户快速增长、Anthropic分词器成本问题、苹果即将推出的高内存芯片,以及关于工具采用和KV缓存压缩的研究。
harshatheg/Qwen-2.5-1B-RLCD
这是一个基于 Apple Silicon 和 MLX 的高吞吐量推理引擎,专用于结构化信息提取,支持并行约束解码,可将延迟降低 5.6 至 7.0 倍,并实现 100% 的模式有效性。