B70 推测解码重大改进 - budiony 重构 Intel XMX 矩阵引擎 · 拉取请求 #29864 · ggml-org/llama.cpp

Reddit r/LocalLLaMA 2026/10/22 18:16 工具

llama.cpp speculative-decoding intel xmx inference-optimization ggml hardware-acceleration

摘要

一个针对 llama.cpp 的拉取请求重构了对英特尔 XMX 矩阵引擎的支持，大幅提升了英特尔硬件上的推测解码性能。

暂无内容

查看原文

相似文章

Reddit r/LocalLLaMA

一个针对 llama.cpp 的拉取请求，将多列 MMVQ 从 CUDA 移植到 SYCL，在 Intel Arc GPU 上实现了约 45% 的推测解码加速。

Reddit r/LocalLLaMA

通过拉取请求向llama.cpp添加DSpark推测解码支持，提升推理性能。

Reddit r/LocalLLaMA

一场 llama.cpp 拉取请求讨论，内容涉及提升 AMD R9700 GPU 上的 strata 解码性能，并提及 ggml/llama.cpp 这一 C/C++ 大语言模型推理项目。

Reddit r/LocalLLaMA

此拉取请求为llama.cpp框架添加了Maple 20B-A1B三元混合专家架构的CPU推理支持。

Reddit r/LocalLLaMA

该 PR 为 ggml-cpu 加入针对 x86 及通用 CPU 优化的 q1_0 点积内核，提升量化 LLM 推理速度。