标签
llama.cpp 新增了对 Inkling 2 的支持,使用户能够通过这个基于 ggml 构建的广泛使用的 C/C++ 运行时,在本地进行该模型的 LLM 推理。
继 ggml-org 于 11 月 13 日发布 libllama 和 libggml 1.0.0 之后,本指南为升级 llama.cpp 绑定的开发者梳理了六项迁移检查,涵盖 API 移除/重命名、固定输入、加载器验证、完整生命周期测试、RPC 协议 v9 兼容性以及回滚规划。
llama.cpp 发布其库的 v1.0.0 版本,通过严格的语义化版本控制为本地 AI 生态建立了稳定的 API/ABI 基础,同时扩展了分发渠道并完善了 CI 基础设施。
一个针对 llama.cpp 的拉取请求重构了对英特尔 XMX 矩阵引擎的支持,大幅提升了英特尔硬件上的推测解码性能。
一场 llama.cpp 拉取请求讨论,内容涉及提升 AMD R9700 GPU 上的 strata 解码性能,并提及 ggml/llama.cpp 这一 C/C++ 大语言模型推理项目。
llama.cpp 的 llama server 从 v0.7.0 起默认端口由 8080 改为 9931,未显式设置端口的用户在升级时会遇到破坏性变更。
在 llama.cpp 中提出了新的 IQ_K 量化类型(IQ2_K 到 IQ6_K),在相同文件大小下相比现有 Q 系列量化有显著的 KLD 改善,但性能略有下降,且创建量化的时间更长。
llama.cpp v0.7.0 发布,支持在 128GB Mac/Spark 配置上通过基于 MTP 的推测式解码运行 Qwen3.8-Flash-Next GGUF 模型,展示了高效的本地大模型服务能力。
一项社区基准测试评估了 21 种能在 16GB 显存内运行的 Qwen3.8 27B 模型/KV 量化组合(189 项基准测试),发现 q5_1/q5_1 通常是最优选择,而提高模型量化级别(q4_0/q4_0)优于在完整 f16 KV 缓存下使用更低的量化级别。
ggerganov 在 llama.cpp 仓库提交了 PR #30459,为 common 新增 --spec-draft-n-ubatch 选项,用于调整推测解码的草稿微批次大小。
作者将上周的 MoE 专家按需从磁盘流式加载的方案接入 llama.cpp 的 WebGPU 后端,使 80B MoE 模型(Qwen3-Next,48GB GGUF)也能在 Chrome 标签页中运行,无需为每个模型手写引擎。该方案新增了 ggml-webgpu 的缓冲类型、slot 映射的 MUL_MAT_ID 着色器和驻留逻辑,实测在 M4 Pro MacBook 上以 2.9 tok/s 解码 80B 模型,较小模型可达 22 tok/s。
llama.cpp 项目介绍:一个以 C/C++ 实现的轻量级 LLM/VLM 推理引擎,支持多种硬件后端,可在从服务器到树莓派等各类设备上运行,并提供命令行工具与 OpenAI 兼容的 API 服务。
PR #29887 在 llama.cpp 中为驻留在主机内存中的 MoE 专家添加了 GPU 缓存,从而在专家权重溢出到 CPU 内存时提升性能。
该拉取请求为 llama.cpp 新增了 K2 Horizon dense 模型与 MoVA 架构的支持,扩展了这一流行 C/C++ 推理框架的本地大模型推理覆盖范围。
针对 ggml-org/llama.cpp 的一项 Pull Request 为 GLM-5.3-Flash(GLM5-Next)模型添加了推理支持,进一步扩展了该库对智谱 AI GLM 系列模型的覆盖范围。
这项工作将ggml的Metal内核集成到transformers库中,使GGUF模型能够直接运行,提升兼容性和性能,实现Mac上的快速本地推理。
laya.cpp 是一个优化的 C++ 实现,用于近即时决策,基于 ggml 构建并带有自定义 CUDA 内核,展示了在 Laya 模型上相比 Python 的显著速度提升。
NVIDIA 的文本转动作模型已通过 kimodo.cpp 移植到 CPU 上运行,无需 NVIDIA 的技术栈。kimodo.cpp 是一个开源的 GGML/C++ 实现,正迅速获得关注。
本文讨论了关于Hugging Face收购llama.cpp/ggml的担忧,探索了对人工智能生态系统的潜在风险,以及许可证保护和社区意见的问题。
llama.cpp/GGML 的 PR (26291) 将基于 RPC 的 300GB 模型加载速度提升了约 300%,在消费级硬件上通过 GGML_RPC_LOAD_THREADS 设置,将加载时间从约 5 分钟缩短至约 1.5 分钟。