标签
audio.cpp 0.4 版本为 Higgs Audio v3 TTS 4B（10倍实时）和 Fish Audio S2 Pro 添加了基于 C++/GGML 的推理，支持完整 GGUF 加载，并实现了 Q8 速度与显存优化。
文章报告称，Laguna S 2.1 AI模型中的无限思考循环很可能是由量化伪影引起的。切换到MoE感知的APEX量化（例如Myric/Laguna-S-2.1-APEX-GGUF）并使用默认采样设置（温度0.7，top_p 0.95，top_k 20）解决了大多数情况下的循环问题。此外，将提示框定在工具调用周围可以防止过度思考。
Laguna S-2.1模型已更新，修复了yarn_attn_factor（已修正为1.0），并改进了聊天模板，修复了损坏的思维过程、保留了思维链，并支持工具调用。建议用户使用官方仓库中更新的GGUF文件。
Laguna-S-2.1 是一个量化AI模型，运行在配备RTX 3080的6年前旧游戏电脑上，解码速度达到10 token/秒，占用8.3 GB显存和52.2 GB主机内存。
Unsloth 发布了 Laguna S 2.1 Mixture-of-Experts 模型的 GGUF 量化版本。该模型是一个拥有 118B 参数（8B 激活参数）的编码模型，具备 1M 上下文窗口和智能体能力。量化版本支持高效的本地部署。
一份精选的推荐AI模型列表（例如Qwen3.5、Gemma 4、Mistral Medium），适用于统一内存最高256GB的系统，涵盖创意、编程、智能体及通用聊天等使用场景。
QuixiAI发布embeddinggemma.c，一个用C编写的快速跨平台嵌入推理引擎，支持多种后端（CPU、Metal、CUDA、ROCm、SYCL）以及Matryoshka嵌入，并提供标准HTTP API。
Qwythos-9B 是一款拥有 9B 参数、支持 1M 令牌上下文和原生工具调用的本地大语言模型，提供 GGUF 格式，适用于 Ollama、llama.cpp 和 LM Studio。其在关键基准测试中的表现显著超越其基础模型 Qwen3.5-9B。
这是一个社区微调并合并的Qwen 3.5 9B版本，声称在关键基准测试中超越更大模型，支持多token预测，以GGUF格式提供。
DavidAU 发布了 Qwen3.6-27B-Fable-Fusion-711，这是一个对 Qwen 3.6 27B 进行多阶段微调的模型，声称在 ARC-C 基准测试中超过 700 分，超越了基础模型并匹敌闭源模型，提供 GGUF 格式，适用于消费级硬件。
Kimi K3模型的量化GGUF版本现已可用，针对RTX 3090 GPU运行进行了优化。
Thinking Machines的Inkling是一个975B参数模型，通过llama.cpp在Mac Studio上本地运行。它听取了一段问诊音频，从闲聊中的细微线索准确诊断出心力衰竭，展示了无需离开本机的先进医学推理能力。
一个经过修改的 Bonsai-27b GGUF 版本已发布在 Hugging Face 上，移除了拒绝回答功能。
Qwen 3.5 122B 模型的一种紧凑型、重要性校准的 ROCmFP4 量化版本，适用于高内存 AMD 系统，实现了更优的质量（KLD 降低 14%）和性能（28.45 tok/s）。需要 ROCmFPX 运行时，不兼容标准 llama.cpp。
腾讯的Hy3 295B模型现已提供1位和4位GGUF格式，相比云端API，本地推理速度提升2.2倍，同时保持质量，如在4块RTX 5090显卡（128GB显存）上所展示的。
unsloth/inkling-GGUF 页面提供了 Inkling 的量化 GGUF 版本。Inkling 是 Thinking Machines 开发的一个 975B 参数的多模态 MoE 模型（41B 活跃），设计用于文本、图像和音频输入，拥有开放权重，并支持通过 Unsloth、SGLang 和 vLLM 等库进行本地部署。
Empero AI 发布了针对 Qwythos-9B-Claude-Mythos-5-1M 的新GGUF量化版本，带有修复的聊天模板，支持1M上下文和函数调用，在基准测试中优于基础 Qwen3.5-9B。
MawForge 提出了一种内存受限的方法，用于在受限的统一内存机器上服务大型混合专家（MoE）语言模型，通过将完整模型存储在磁盘上，并按需将专家张量物化到有限缓存中。在 MacBook Pro M5 Pro 上的实验表明，能够在 24GB 内存范围内有效服务 34GB 和 25GB 的模型，并分析了缓存大小权衡和推测解码结果。