标签
帖子作者指出，LFM2.5 8B A1B模型的MoQ GGUFs提供了最佳的精度/大小比，并建议不要使用精度恢复低于95%的版本。
这篇来自NVIDIA的文章介绍了如何使用NVIDIA Model Optimizer库，通过训练后量化方法将CLIP模型量化为FP8格式，从而减少VRAM使用并提升在消费级GPU上的推理性能。
MagicQuant v2.0 是一个用于创建混合式GGUF量化模型的管道，它通过学习Unsloth和其他方法，基于KLD基准找到最优量化配置，重点关注非线性赢家和异常检测。
本地运行多智能体 AI 工作流的硬件需求对比，重点探讨显存（VRAM）与 KV Cache 的瓶颈限制。
本文强调了 Hugging Face 上本地 AI GGUF 模型创建量的显著激增，近几个月的每月新增量几乎翻倍，超过 9,000 个，这得益于工具的改进以及新的开源权重模型的发布。
0xSero 发布了腾讯 Hy3-preview 模型的 FP8 和 NVFP4 量化版本，使其能够在使用完整上下文的情况下在 256GB 显存的设备上运行。
独立研究者发布了 Spiral，这是一款专为 Apple Silicon 设计、利用自定义融合 Metal 内核将大语言模型（LLM）压缩至 INT3、KV 缓存压缩至 INT2 的工具，目前已提供 Qwen-7B 预览版。
开发者 @0xSero 在优化版 GLM-5.1-505B 上通过 NVFP4 量化与 32% 剪枝实现高吞吐推理，解码速度 45 tokens/s，预填充速度 1350 tokens/s。