Eagle-4 发布：速度超越 DFlash2 与 DSpark

Reddit r/LocalLLaMA 2026/10/20 23:04 模型

speculative-decoding inference-acceleration open-source llm-serving eagle sglang vllm

摘要

EAGLE-4 发布：新一代投机解码草稿模型与 eagle-harness 工具包，可跨批量大小、硬件和工作负载自适应加速 LLM 推理，速度超过 DFlash2 与 DSpark，支持 SGLang、vLLM 和 TokenSpeed 引擎。

暂无内容

查看原文

查看缓存全文

缓存时间: 2026/10/21 07:07

EAGLE-4

一个灵活的起草器，适用于所有批次规模与硬件

论文 (EAGLE-4) · Qwen3.8-27B 的 EAGLE-4 起草 · 文档

EAGLE-4 论文中的图 1(a)：Qwen3.8-27B 在 SPEED-Bench 定性子集上的表现，4× NVIDIA B300，单个请求，温度 0。此版本使用 EAGLE-4 测得的数据位于支持矩阵中。

相似文章

X AI KOLs Following

EAGLE-4 发布，作为投机解码加速组件在 Qwen3.8-27B 上达到 961.6 tokens/s，单请求下比 DFlash 2 快 1.28 倍、比 DSpark 快 1.40 倍，通过“草拟并验证”循环实现约 3 倍加速且输出完全一致。

X AI KOLs Following

一位用户惊叹 DeepSeek v4.1 Flash 在 2 台 DGX Spark 上运行速度极快，并称其构成国家安全风险，凸显中国开源模型在紧凑硬件上的高效推理能力引发关注。

Reddit r/LocalLLaMA

一位双 DGX Spark 用户报告称，全新的 GLM 5.3 Flash 方案带来了 50-90% 的解码速度提升，在本地硬件上不仅比 DeepSeek v4.0 Flash 更快，推理质量也更好。

Hugging Face Models Trending

发布了一款基于 Qwen3.8-27B 经多轮 SFT 与 RLOO 后训练的编程模型，修复了原模型不停推理直至 94K 截断的问题，并提供 BF16、FP8、NVFP4、INT8/INT4、GGUF 等多种量化版本，支持 DFlash2/MTP 投机解码，推理速度最高约 180 tok/s。

Reddit r/LocalLLaMA

EAGLE3 是一种推测性解码方法，现已集成到 llama.cpp 中，能够实现更快的推理。