标签
一个实验，使用 llama.cpp 在双消费级 GPU（RTX 5090 + 5060 Ti）上本地运行 Qwen3.8-2.4T-A95B MoE 模型，启用 MTP 推测解码后达到约 0.8 tok/s。
一位开发者报告称，通过mlx-dspark中的推测解码，Meta的Muse Glimmer 30B在Apple Silicon上运行速度提升约3.3倍，输出与逐字节完全相同，且没有质量损失。
Presents LibraSpec, a training-free, plug-and-play algorithm that dynamically selects speculative decoding lengths via marginal-gain-driven optimization, achieving consistent speedups across multiple models and benchmarks.
在 RTX 5090 上对 unsloth 的 Muse Glimmer 30B 进行基准测试，采用推测解码，使用 DFlash 草稿模型和基于 GPU 的 argmax PR，最高可达 253 t/s，不过该 PR 仍是草稿状态。
Meta 发布 Muse Glimmer，这是一款 30B 开放权重多模态模型，专为本地智能体工作流优化，采用宽松的 Apache 2.0 许可证，支持 4 位量化、推测解码，并提供广泛的生态系统集成。
讨论了为什么推测解码在2026年对LLM推理而言走向成熟，引用了Uber的早期使用、Apple和DeepMind的论文以及Tri Dao的研究，并观察了其在框架和本地部署中的采用情况。
本文介绍了两个配置标志，它们将官方Ling-3.0-flash INT4在单个DGX Spark上的推理速度从20.8 tok/s提升到38.7 tok/s，同时提醒需要使用特定的vLLM分支，并指出在长上下文性能方面的权衡。
OasisKV是一个以内存为中心的LLM推理系统，通过使用来自推测解码的前瞻令牌预取稀疏且重要的KV块，将完整KV缓存存储与HBM解耦，与密集vLLM相比实现了高达2.1倍的吞吐量提升，且精度损失极小。
一位开发者正在构建Octane，这是一个面向消费级硬件上的本地LLM推理的推测解码运行时，目标是实现2-3倍的加速，同时保持完全相同的输出质量。目前处于积极开发阶段，已实现分页KV缓存、连续批处理和批量注意力。
该预印本介绍了DBLast，一种用于随机投机解码的依赖块草拟器，它利用基于标记位置的低秩潜在混合模型以及面向接受的训练目标，在更高熵解码场景中提高接受草稿长度。基于Qwen3-4B和Qwen3-8B的实验表明，与独立块采样相比，该方法能持续提升接受长度。
LG AI Research presents K-EXAONE 2.0, a 750B-parameter MoE foundation model upcycled from K-EXAONE, supporting 256K context and six languages, with self-speculative decoding for efficient inference.
讨论Transformer做大规模推理的瓶颈，并梳理2023到2026年间大模型推理优化技术的演进，包括KV cache量化、推测解码、架构创新和软硬件协同设计。
AcceptMoE is a verifier-side expert selection method for speculative decoding of MoE LLMs, which reduces expert-weight traffic and improves throughput by up to 2.06x under expert offloading with minimal accuracy loss.
This paper proposes speculative correction, a training-free draft-then-refine decoding strategy for diffusion language models, showing quality-latency improvements using LLaDA2.1 models.
关于在单张 RTX 5090 + 256GB DDR5 台式机上使用 vLLM 配合 CPU/内存卸载运行 DeepSeek-V4-Flash-0731 完整 100 万 token 上下文的技术报告，实现了约 800 tokens/秒的预填充速度和约 15 tokens/秒的解码速度。
DeepSeek V4 Flash在双GH200工作站上的详细基准测试，比较了SGLang和vLLM在1M上下文长度下使用DSpark投机解码的表现，发现SGLang更快，约为317 tok/s对比276 tok/s。
介绍了 OoO-Spec，一种通过小型辅助模型以无序方式计算语义槽位来加速 LLM 工具调用的方法，相比自回归解码实现了最高 5.34 倍的加速，并在多个目标和基准测试中超越了现有的草稿模型方法。
本文介绍了SparseSpec-L，一种用于长上下文LLM推理的无需训练的自推测解码框架，它使用动态稀疏化且可召回（recallable）的KV缓存，以及基于熵的推测长度控制器，相比自回归解码可实现高达2.79倍加速。
本文提出功能重构方法，将MHA/GQA检查点转换为投机解码的MLA草稿模型，直接优化注意力模块以保留令牌接受率。报告在涉及Llama/Qwen模型和多种转换方法的192种配置中持续改进。
本文分析了推测解码中的有损验证方案，将其分为基于截断的验证和协作验证两类，并指出了保持生成质量的陷阱和原则。