llama.cpp 发生了什么

Reddit r/LocalLLaMA 2026/07/27 01:38 工具

llama-cpp gguf regeneration breaking-change open-source inference

摘要

llama.cpp 的一次重大更新要求重新生成所有之前生成的 GGUF 文件，这表明模型格式发生了重大的不兼容变化。

肯定发生了重大事件，才会让他们声明：“注意：在此更改之前生成的所有 GGUF 文件都需要重新生成。” llamacpp 网站

查看原文

相似文章

Reddit r/LocalLLaMA

Llama.cpp 宣布推出新网站和统一的 'llama' 二进制文件，以简化 LLM 推理，同时还包括 Hugging Face 缓存迁移和多模态支持等更新。

Reddit r/LocalLLaMA

llama.cpp 发布版本 b11003，这是一个 C/C++ 工具，可在各种硬件上以最少的设置实现高效的大语言模型推理。

Reddit r/LocalLLaMA

一位开发者报告称，使用 Unsloth 的 GGUF 模型时，Gemma 4 的多模态功能在较新的 llama.cpp 构建中被破坏，原因是不兼容的 mmproj 文件。切换到 ggml-org 的官方模型后问题立即解决，这凸显了第三方量化器与 llama.cpp 更新之间反复出现的兼容性问题。

Hacker News Top

本文探讨了 llama.cpp 用于语言模型的 GGUF 文件格式，重点介绍了其单文件便利性以及嵌入的聊天模板和特殊令牌的作用。还比较了不同的 Jinja 实现，并讨论了该格式仍缺少哪些内容。

Reddit r/LocalLLaMA

Llama.cpp 是一个流行的开源工具，用于运行 LLaMA 模型，现已发布 0.2.0 版本，包含更新日志和预构建二进制文件，可在 GitHub 上获取。