标签
这是 Huihui-DeepSeek-V4-Flash-0731-abliterated-GGUF 的模型卡,它是 DeepSeek-V4-Flash 的 abliterated(无审查)GGUF 量化变体,专为与 llama.cpp 和 ds4 一起本地使用而设计。
演示了在MacBook Pro上利用BBQ-FP4量化同时运行两个80B Qwen模型,声称性能无损且速度很快。
在4台DGX Spark机器上运行4-bit量化版GLM-5.2(753B MoE),Terminal-Bench 2.1得分为70.8%,而完整模型为81.0%。
针对GLM-5.2 744B MoE模型的预转换int4量化权重,旨在使用colibrì引擎在约25GB内存的消费级硬件上运行。
一个本地且私有的语言模型(Qwen 3 的 1.5B 和 4B 量化版本)可以在智能手机上离线运行,附带从 32B 模型蒸馏而来的微调与 LoRA。
在RTX 5090上运行量化后的Gemma-4-31B模型,上下文长度从35k增加到80k,展示了显著的性能提升。
Bonsai-27B 是一个1位二元变换器模型,在手机(iPhone 17 Pro Max)上实现完整的27B级推理,占用约3.9 GB内存,速度约11 tok/s,保留了约90%的FP16智能表现。
Qwythos 9B 是一款新的开源、无审查推理模型,基于Qwen3.5,提供GGUF量化版本,拥有100万token上下文、视觉能力和函数调用功能,性能相比基础模型有显著提升。
Hugging Face 上发布了已消除限制的 GLM-5.2 模型的量化 GGUF 版本,可使用 Transformers、llama.cpp 和 vLLM 等工具进行本地推理。
一款新的未经审查的GGUF量化版Qwythos-9B-Claude-Mythos-5-1M模型,通过abliteration技术创建,现已发布在Hugging Face上。
Unsloth 发布了 Qwen-AgentWorld-35B-A3B 的 GGUF 量化版本,这是一个原生语言世界模型,能够通过长链思维推理模拟七个领域(MCP、搜索、终端、SWE、Android、Web、操作系统)中的智能体环境,并通过 CPT、SFT 和 RL 进行训练。
Antirez宣布合并实现GLM 5.2的分支可能性很高,这可能成为运行在512GB Mac Studio上的最佳模型,并可能通过2位量化在分布式128GB MacBook上运行。
NVIDIA 发布了 GLM-5.2-NVFP4,这是 ZAI 的 GLM-5.2 MoE 语言模型的量化版本,使用 Model Optimizer 进行了优化,适用于 NVIDIA Blackwell GPU 上的推理。
NVIDIA发布了Qwen3.6-27B-NVFP4,这是阿里巴巴Qwen3.6-27B模型的量化版本,针对在NVIDIA GPU上的部署进行了优化,支持文本、图像和视频输入。
unsloth 已将 GLM-5.2 的 GGUF 版本上传至 Hugging Face,为 llama.cpp、vLLM 和 SGLang 等多种推理引擎提供了可直接使用的模型文件。
GestaltLabs 发布了 Ornstein-3.5-9B-V1.5 GGUF 量化版本,这是基于 Qwen 3.5 9B 的推理优化微调模型,配备了 MTP 头和视觉投影器,支持多模态应用。
Hugging Face 仓库 (kaitchup/Qwen3.6-27B-GGUF-MoQ) 提供了 Qwen3.6-27B MoQ 模型的 GGUF 量化权重,支持使用 llama.cpp 和 Ollama 等工具进行本地推理。
GGUF量化版本的Qwopus3.6-27B-Coder-MTP模型已发布在Hugging Face上,针对本地推理进行了优化,兼容Transformers、vLLM、SGLang和Unsloth Studio。
Holo3.1 是一个更新的计算机使用模型系列,提升了在网页、桌面和移动环境中的鲁棒性,引入了用于本地执行的量化检查点,并增加了对函数调用协议的原生支持。