标签
一位爱好者分享了使用 vllm-ascend 在两张华为昇腾 310P 卡上以约 8–9 token/秒运行 3200 亿参数的 GLM-5.3-Flash MoE 模型的进展，包括模块热替换、利用 YaRN 实现 100 万 token 上下文，以及一种将权重从 CUDA GPU 卸载到昇腾卡上的混合式“昇腾辅助卡”构想。
# Qwen3.8-27B Uncensored (Heretic + MTP) UD-IQ4_XS 量化版本 作者发布了 **Qwen3.8-27B Uncensored (Heretic + MTP)** 的 UD-IQ4_XS 量化版本，使其能够在配备 16 GB 显存的 RTX 4080 上以 **55-68 tok/s** 的速度运行。 同时提供以下版本： - **12 GB** 显存版本 - **24 GB** 显存版本 此外还附有 **KLD 质量对比** 与 **速度基准测试**数据。
LlamAmpere 新版本发布，面向 12GB Ampere 显卡优化，可在 RTX 3060/3080/3090 上运行 200K+ 上下文的 Qwen3.8 27B 量化模型，并引入 Staged + Journaled KVaRN 变体，将 KV 缓存压缩的 KLD 降低约 40%，性能达到 BF16 的约 85%。
autotrust/GEV-26B-Decide-NVFP4 是 GEV-26B-Decide 的 NVFP4 4 位量化版本，仅对 3,840 个路由专家 MLP 进行量化，将权重从 49.5 GB 压缩至 18 GB（GPU 显存减少 66%）。其基准测试结果与 bf16 模型的差异处于运行间噪声范围内，并支持在 Blackwell GPU 上通过 vLLM 进行原生 W4A4 推理。
发布了一款基于 Qwen3.8-27B 经多轮 SFT 与 RLOO 后训练的编程模型，修复了原模型不停推理直至 94K 截断的问题，并提供 BF16、FP8、NVFP4、INT8/INT4、GGUF 等多种量化版本，支持 DFlash2/MTP 投机解码，推理速度最高约 180 tok/s。
作者详细介绍了如何使用Claude Opus-5.5进行内核开发和AI工作，分享了本地模型工作流、量化任务和硬件选择的实践经验。
一位用户对 exllamav3 和 llama.cpp 进行了 CPU 卸载推理的基准测试，显示 exllamav3 对于 Qwen 模型更快，但对于其他模型更慢，具体取决于硬件和模型架构。
一项分析表明，AtomicChat的Qwen3.8-Flash-Next量化可能具有欺骗性，因为它将IQ2_S张量误报为Q4_K_M，这揭示了模型量化中潜在的透明度问题。
团队将 Qwen 3.8 27B 量化为多种 GGUF 格式，并在 RTX 6000 上进行了基准测试，发现不同量化版本性能相似，推荐 AD-Q6_K 以保证安全性。
介绍colibri，一个纯C编写的开源推理引擎，能够将显存、内存和硬盘作为统一层次结构，流式加载大模型权重，支持多种前沿MoE模型在消费级硬件上本地运行，降低大模型使用门槛。
文章批评了AI模型在不同量化格式下缺乏系统性基准测试，突出了基准测试结果与实际使用之间的差异，并呼吁进行更彻底的评估。
关于在双RTX 3090上使用vLLM运行量化后的NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B模型的详细指南，支持完整的262K上下文，实现高推理速度且无需CPU卸载。
Poolside发布了Laguna S 2.1 AI模型的GGUF量化版本，包括一个DFlash投机解码草稿模型，支持通过llama.cpp进行高效的本地推理。
一位用户在配备双 RTX 5090 的高端类消费级系统上测试了 unsloth 量化版 GLM-5.2 模型，达到了每秒 12 个 token。
本教程来自NVIDIA，介绍了将FP8量化PyTorch模型转换为TensorRT推理引擎用于生产部署的端到端工作流程，涵盖ONNX导出和性能分析。
将EXL3 LLM编解码器移植到Apple Silicon上通过Metal运行，在M5 Max上实现了高预填充和生成速度（例如，~600 tok/s预填充，不同模型下17-80 tok/s生成）。
Unsloth 正在将 MiniMax M3 模型的 GGUF 量化版本上传到 Hugging Face。
本文是AI工程全景系列的中篇，详细介绍了推理优化、模型瘦身（量化、蒸馏、剪枝、MoE）和投机解码等核心技术，综述了从硬件到工程栈的最新进展。
一位用户分享了他们使用AutoRound对Qwen 3.6 27B进行GGUF量化的版本，声称其性能优于其他量化版本，并邀请反馈。
帖子作者指出，LFM2.5 8B A1B模型的MoQ GGUFs提供了最佳的精度/大小比，并建议不要使用精度恢复低于95%的版本。