标签
一位用户从 Ling-3.0-tiny-UBTree 中提取了纯 DFlash 草稿模型部分（移除了 ubtree_selector 张量），使其能够在未经修改的主线版 llama.cpp 上运行。据其报告，散文生成速度提升了 8%，Python 代码生成速度提升了 61%，转换后的 GGUF 文件及转换流程已发布在 Hugging Face 上。
Kapitsa 是一款针对 Apple Silicon 优化的开源推理引擎，在配备 48GB 内存的 MacBook Pro M4 Pro 上运行 Recursive 全新的 Flint 40B Q4 模型时，解码速度达到每秒 128 个 token，在长上下文解码和预填充基准测试中优于 llama.cpp 和 Recursive 自家的引擎。
该论文研究了推测解码中目标模型概率的复用问题，提出在树分配前利用目标概率进行重排序和首词采样，可在小树预算下提升期望接受率并加快解码速度。
本文表明，重新生成目标模型的回答会缩小知识蒸馏等草稿模型训练目标在推测解码中带来的收益，并通过多项对照实验，在视觉语言（Qwen3-VL-8B）和纯文本（Qwen3-4B）场景中复现了这一发现。
一位业余研究者提出了一种推测解码方案：由 GPU 上的 2 位模型副本草拟 token，而系统内存中的完整残差（6–8 位）负责验证它们，两者仅通过 PCIe 交换激活值。初步测量表明，2 位模型加 8 位残差的质量优于 Q8_0，且这款 2 位草拟模型的接受率超过了 Gemma 4 的官方草拟模型。
OpenBMB 的工程实践展示了如何通过前瞻性专家调度（LES）在 iPhone 上以每秒 20.51 个 token 的速度运行 35B-A3B 混合专家（MoE）模型，无需跳过专家或改变路由，相关实现已在 llama.cpp-omni 开源。
Nace.AI 的 Kapitsa 0.2 随之推出 KFlash——一种面向 Apple Silicon 的基于 best-first 树搜索的投机解码（speculative decoding）方法。该方法在 M4 Pro 和 M1 Pro MacBook 上，基于 Qwen 模型与 Splash 1.4.0 的 DFlash2、mlx-serve、Ollama、llama.cpp 等方案进行了基准测试，展现出顶尖的解码吞吐量（约 65–201 tok/s）。
DStill 是一个两阶段轨迹一致性蒸馏框架，将块扩散投机解码中多步精修的 drafter 蒸馏为单步 drafting，在三个模型族上相较单步 DFlash 最高提升 28% 接受长度和 25% 加速，较自回归解码最高达 6.45 倍加速。
EAGLE-4 发布，作为投机解码加速组件在 Qwen3.8-27B 上达到 961.6 tokens/s，单请求下比 DFlash 2 快 1.28 倍、比 DSpark 快 1.40 倍，通过“草拟并验证”循环实现约 3 倍加速且输出完全一致。
DeepSeek V4.1 Flash 的大规模推理部署文章，介绍 DeepInfer 结合分布式推理、缓存、负载均衡与投机解码提升效率，DeepSeek 单集群日处理 155 万亿 token，每 GPU 小时收入 38 美元，并开源了大部分推理框架。
EAGLE-4 发布：新一代投机解码草稿模型与 eagle-harness 工具包，可跨批量大小、硬件和工作负载自适应加速 LLM 推理，速度超过 DFlash2 与 DSpark，支持 SGLang、vLLM 和 TokenSpeed 引擎。
Continuity Research 发布 Tess-4.5-27B，一个基于 Qwen3.8-27B 微调的 27B 开源权重模型，主打本地单卡运行的工程与智能体能力，BenchLocal 成绩与基座持平但推理 token 少 25%，并附带多 token 预测草稿头以提升本地推理速度。
ProVe 通过微调大模型作为提议者，生成由较小或同规模模型验证的 token 块，反转了投机解码的角色，在六个基准上实现了最高 2.7 倍的吞吐量，并提供可调节的速度-精度权衡。
Specter 提出了一种通过量化实现的多步推测性专家卸载方法，在单 GPU 上加速 MoE 推理，相比最先进系统平均获得 1.50 倍（最高 1.88 倍）的 TPOT 加速。
Hugging Face 主播了一场名为 Local AI 202 的直播，介绍如何通过推测解码（Speculative Decoding）大幅提升本地 AI 推理速度，现提供回放。
incoai发布了DFlash 2草稿模型（Qwen3.8-Flash-Next-DFlash2），这是一种用于推测解码的块扩散式草稿器，可在单次前向中预测整个token块，并通过SGLang实现无损解码加速，在接受长度上优于内置MTP。
Nace.ai 发布开源（Apache 2.0）Apple Silicon 优化 Metal 推理引擎 Kapitsa，专为 Qwen 和 Nemotron 模型定制内核，并在 M1 Pro、M4 Pro、M5 Max 上公布对比 MLX、llama.cpp、Ollama 等引擎的解码基准。
提出 CADENCE（Context-Adaptive Decoding，上下文自适应解码）方法，通过高斯预测头与学习式路由自适应选择每次解码的跨度长度，在 Llama-3.1-8B-Instruct 上实现最高 1.3× 的生成吞吐提升。
论文提出SPOT，一个0.62M参数的草稿模型，用于预测扩散语言模型的token提交顺序，实现无损的树式投机解码，并通过耦合噪声匹配验证将目标模型的前向次数最多减少6.8倍，在六个DLM上将吞吐量提升最高达3.2倍。
一位爱好者构建了一套分布式推理系统，将两台游戏PC、一台M4 Pro MacBook和两台iPhone 17 Pro Max串联起来运行Qwen 3.8 Flash Next（一个48层、每层512专家的MoE模型），通过设备链上的流水线投机解码，在60k上下文下实现了37-39 tok/s的速度。