@PyTorch: 激动宣布EAGLE 3.1 - 来自@EagleCorp的推测解码下一代演进，由@hongyangzh开发，…

X AI KOLs Following 模型
speculative-decoding pytorch eagle-3-1 llm efficiency open-source

摘要

EAGLE 3.1，推测解码的下一代演进，引入了新的FC归一化以提高效率，由EagleCorp与PyTorch、vLLM和TorchSpec合作开发。

激动宣布EAGLE 3.1 - 来自@EagleCorp的推测解码下一代演进，由@hongyangzh、@dogacel0以及EAGLE团队与vLLM @vllm_project和TorchSpec @lightseekorg合作开发！EAGLE 3.1引入了新的FC归一化+
查看原文

相似文章

EAGLE3 已登陆 llama.cpp

Reddit r/LocalLLaMA

EAGLE3 是一种推测性解码方法，现已集成到 llama.cpp 中，能够实现更快的推理。

AngelSpec：面向实际场景的高性能推测解码推理

arXiv cs.CL

AngelSpec 提出了一个统一的训练与推理框架，用于推测解码，该框架联合优化自回归多 token 预测和块并行扩散草稿模型，以处理异构实际工作负载。在 Hy3 模型系列上的实验显示，相对于自回归解码，加速比高达 2.4 倍，并且吞吐量比 DFlash 高出 11.8%。