标签
Kimi K3模型的量化GGUF版本现已可用，针对RTX 3090 GPU运行进行了优化。
演示如何使用Ternary Bonsai 27B Q2_0模型和llama.cpp在16GB RTX 4080 Super上实现256k上下文，生成速度高达141 tok/s。
一个用于编码的140GB IQ2_XXS REAP量化版GLM 5.2已被创建，作者正在寻找测试者。
Ornith-1.0-35B Q3_K_M是一个35B参数模型的3位量化版本，需要约17 GB显存，并通过KLD与BF16对比检查以确保保真度。
推荐使用NVIDIA的nvfp4量化版Qwen 3.6 35B，而非Unsloth版本，其性能更优。该模型可在HuggingFace上获取，用于AI应用。
Unsloth 发布了 Gemma 4 QAT MTP 辅助模型，以 GGUF 文件形式在 Hugging Face 上提供，支持 q8_0 及更大量化格式。
作者发布了一个纯Rust、纯CPU的LFM2.5-8B-A1B模型推理实现（4-bit Q4KM量化），解码速度约37 tokens/s，内存占用~7GB，旨在让LLM在廉价VPS或旧机器上可运行。该实现已开源并发布为cargo crate。
Jackrong/Qwopus3.6-27B-v2-MTP-GGUF 是 27B 参数语言模型的 GGUF 量化版本，托管在 Hugging Face 上，并附有使用各种库和工具的说明。