标签
最近的llama.cpp提交破坏了旧版DeepSeek V4 gguf聊天模板中的preserve_thinking行为，导致在编码代理环境中出现问题。解决方法是使用--chat-template-file覆盖gguf模板，替换为新的模板。
Kimi K3 纯文本模型现已获得 llama.cpp 支持，用户可通过这一 C++ 推理引擎在本地运行该开源大语言模型。
文章详细介绍了推理引擎对 Ling-3.0-flash 模型权重的当前支持状况：SGLang 承诺首日集成，vLLM 等待开源权重，llama.cpp 缺少对 Bailing MoE 变体的转换。文章指出发布模式是先开放免费 API，然后开源，正如 Ling-2.6-flash 那样。
本文评估了 Qwen3.6-27B 模型的不同量化方式对输出质量的影响，使用了 KL 散度和 top-1 token 准确率，以及 SVG 绘图等可视化示例。
audio.cpp 0.4 版本为 Higgs Audio v3 TTS 4B（10倍实时）和 Fish Audio S2 Pro 添加了基于 C++/GGML 的推理，支持完整 GGUF 加载，并实现了 Q8 速度与显存优化。
文章报告称，Laguna S 2.1 AI模型中的无限思考循环很可能是由量化伪影引起的。切换到MoE感知的APEX量化（例如Myric/Laguna-S-2.1-APEX-GGUF）并使用默认采样设置（温度0.7，top_p 0.95，top_k 20）解决了大多数情况下的循环问题。此外，将提示框定在工具调用周围可以防止过度思考。
Laguna S-2.1模型已更新，修复了yarn_attn_factor（已修正为1.0），并改进了聊天模板，修复了损坏的思维过程、保留了思维链，并支持工具调用。建议用户使用官方仓库中更新的GGUF文件。
Laguna-S-2.1 是一个量化AI模型，运行在配备RTX 3080的6年前旧游戏电脑上，解码速度达到10 token/秒，占用8.3 GB显存和52.2 GB主机内存。
Unsloth 发布了 Laguna S 2.1 Mixture-of-Experts 模型的 GGUF 量化版本。该模型是一个拥有 118B 参数（8B 激活参数）的编码模型，具备 1M 上下文窗口和智能体能力。量化版本支持高效的本地部署。
一份精选的推荐AI模型列表（例如Qwen3.5、Gemma 4、Mistral Medium），适用于统一内存最高256GB的系统，涵盖创意、编程、智能体及通用聊天等使用场景。
QuixiAI发布embeddinggemma.c，一个用C编写的快速跨平台嵌入推理引擎，支持多种后端（CPU、Metal、CUDA、ROCm、SYCL）以及Matryoshka嵌入，并提供标准HTTP API。
Qwythos-9B 是一款拥有 9B 参数、支持 1M 令牌上下文和原生工具调用的本地大语言模型，提供 GGUF 格式，适用于 Ollama、llama.cpp 和 LM Studio。其在关键基准测试中的表现显著超越其基础模型 Qwen3.5-9B。
这是一个社区微调并合并的Qwen 3.5 9B版本，声称在关键基准测试中超越更大模型，支持多token预测，以GGUF格式提供。
DavidAU 发布了 Qwen3.6-27B-Fable-Fusion-711，这是一个对 Qwen 3.6 27B 进行多阶段微调的模型，声称在 ARC-C 基准测试中超过 700 分，超越了基础模型并匹敌闭源模型，提供 GGUF 格式，适用于消费级硬件。
Kimi K3模型的量化GGUF版本现已可用，针对RTX 3090 GPU运行进行了优化。
Thinking Machines的Inkling是一个975B参数模型，通过llama.cpp在Mac Studio上本地运行。它听取了一段问诊音频，从闲聊中的细微线索准确诊断出心力衰竭，展示了无需离开本机的先进医学推理能力。
一个经过修改的 Bonsai-27b GGUF 版本已发布在 Hugging Face 上，移除了拒绝回答功能。
Qwen 3.5 122B 模型的一种紧凑型、重要性校准的 ROCmFP4 量化版本，适用于高内存 AMD 系统，实现了更优的质量（KLD 降低 14%）和性能（28.45 tok/s）。需要 ROCmFPX 运行时，不兼容标准 llama.cpp。