标签
Ai2发布了Tmax-27B，一个基于Qwen3.6-27B并使用DPPO（RL）训练的终端Agent大语言模型。作者提供了经重要性矩阵校准的GGUF量化版本，即使在极低的比特宽度下也能在Agent基准测试中取得有竞争力的性能，并且移植了MTP草案头用于推测解码。
面向16GB显存NVIDIA GPU优化的新型Qwen3.6-27B GGUF量化版本，包含实验性Trellis变体，并附带了困惑度基准测试。
现在有了适用于 llama.cpp 的 MiniMax M3 EAGLE 草稿模型的 GGUF 转换，可在兼容硬件上实现推测解码加速。
使用Unsloth Dynamic GGUFs在本地运行Z.ai的开放模型GLM-5.2的指南。该模型拥有744B总参数量（40B活跃），1M上下文窗口，量化版本可将内存降至2-bit的239GB，使得在256GB Mac上实现本地推理成为可能。
Qwopus 3.6 27B-Coder-Compat 是新的GGUF版本，为各种测试框架带来了兼容性修复，减少了循环问题，提高了思考稳定性。它可以生成完整的HTML游戏，适合本地部署。
用户发布了Apostate，这是Qwen 3.6 27B的去安全对齐版本，将安全对齐拒绝率从92%降低到7.6%，同时能力损失极小（KL 0.120）。
Antirez 报告了在 DwarfStar 中首次实现 GLM 5.2 的工作版本，使用了 433 GB 的 GGUF 文件，运行于配备 512GB 内存的 M3 Ultra 上，不过还需要进一步优化。
一位用户质疑为什么AutoRound——这款在低位宽下精度保留出色且能直接导出GGUF的量化工具，尽管在复杂模型（如Qwen3.6 27B）上表现优于标准AWQ和RTN，却仍然被忽视。
Empero AI 发布了 Qwythos-9B-Claude-Mythos-5-1M-GGUF，这是一个基于 5 亿以上 tokens 的 Claude Mythos/Fable 轨迹（包含思维链）微调而成的 9B 参数推理模型，相比 Qwen3.5-9B 取得了显著提升，并通过 YaRN 旋度缩放支持 100 万 token 上下文。GGUF 量化版本支持在 llama.cpp 及兼容运行时上进行本地推理。
Gemma-4-12B 的微调版本，针对本地编码和智能体任务进行了优化，在 tau2-bench 电信基准测试上相较基础模型实现了约 3.5 倍的性能提升。
本文介绍Qwopus3.6-27B-Coder模型的校准2位GGUF量化版本，用于智能体编码任务。实验表明，IQ2_M量化（9.74 GiB）在SWE-rebench基准测试中达到63%的通过率，与Q5_K_M量化相当，但模型大小仅为其一半。
Mia-AiLab发布了Gemmable 4 12B，这是Google Gemma 4 12B模型的微调版本，使用了Fable-5风格推理和助手轨迹，提供GGUF和MLX格式用于本地推理。
UnslothAI 宣布 GLM-5.2，Z.ai 的最强开源模型，拥有 744B 参数，现在可以通过动态 GGUF 量化在本地运行，将大小减少约 84% 至 239GB，同时保留约 82% 的准确率。它适用于 256GB Mac 以及 RAM/VRAM 配置，并支持长上下文、推理和代理任务。
GLM 5.2 GGUF 量化模型已发布，8位版本大小约为完整模型的一半；更小版本即将推出。
unsloth 已将 GLM-5.2 的 GGUF 版本上传至 Hugging Face，为 llama.cpp、vLLM 和 SGLang 等多种推理引擎提供了可直接使用的模型文件。
GestaltLabs 发布了 Ornstein-3.5-9B-V1.5 GGUF 量化版本，这是基于 Qwen 3.5 9B 的推理优化微调模型，配备了 MTP 头和视觉投影器，支持多模态应用。
阿里巴巴通义实验室重点介绍了一款社区模型Qwen3.6-27B-MTP-pi-reasoning-GGUF，该模型基于Qwen3.6-27B，针对本地编码代理的自动编程和调试工作流进行了优化。
Cohere 的 command-a-plus-05-2026 模型的 GGUF 量化版本，针对 llama.cpp 进行了优化，并提供了多种量化级别，适用于本地推理。
Hugging Face 仓库 (kaitchup/Qwen3.6-27B-GGUF-MoQ) 提供了 Qwen3.6-27B MoQ 模型的 GGUF 量化权重，支持使用 llama.cpp 和 Ollama 等工具进行本地推理。
作者分享了他们在Nex-N2 Pro上的体验，最初误以为是Rio-3.5，并发现它在编码基准测试中表现异常出色，无幻觉问题，在他们的Mac设备上可与GPT-5.x媲美。