标签
llama.cpp中面向Qwen模型的EAGLE3推测解码的开发中实现。
EAGLE3 是一种推测性解码方法,现已集成到 llama.cpp 中,能够实现更快的推理。
下一次 MLX-VLM 版本包含改进,并提供了对 Gemma 4 模型的 Eagle3 推测解码预览。