quantized

标签

Cards List
#quantized

LFM 2.5 QAD

Reddit r/LocalLLaMA ↗ · 2026-08-19

LiquidAI发布LFM 2.5,一款针对量化部署优化的语言模型,并提供GGUF格式,可在Hugging Face上获取。

0 人收藏 0 人点赞
#quantized

huihui-ai/Huihui-DeepSeek-V4-Flash-0731-abliterated-GGUF

Hugging Face Models Trending ↗ · 2026-08-02 缓存

这是 Huihui-DeepSeek-V4-Flash-0731-abliterated-GGUF 的模型卡,它是 DeepSeek-V4-Flash 的 abliterated(无审查)GGUF 量化变体,专为与 llama.cpp 和 ds4 一起本地使用而设计。

0 人收藏 0 人点赞
#quantized

@shaneparrish: https://x.com/shaneparrish/status/2075226155548807210

X AI KOLs Following ↗ · 2026-07-09 缓存

演示了在MacBook Pro上利用BBQ-FP4量化同时运行两个80B Qwen模型,声称性能无损且速度很快。

0 人收藏 0 人点赞
#quantized

在4台DGX Spark上运行4-bit量化GLM-5.2(753B MoE):Terminal-Bench 2.1得分70.8%,完整模型为81.0%

Reddit r/LocalLLaMA ↗ · 2026-07-08

在4台DGX Spark机器上运行4-bit量化版GLM-5.2(753B MoE),Terminal-Bench 2.1得分为70.8%,而完整模型为81.0%。

0 人收藏 0 人点赞
#quantized

jlnsrk/GLM-5.2-colibri-int4

Hugging Face Models Trending ↗ · 2026-07-06 缓存

针对GLM-5.2 744B MoE模型的预转换int4量化权重,旨在使用colibrì引擎在约25GB内存的消费级硬件上运行。

0 人收藏 0 人点赞
#quantized

一个本地的、100%私有的语言模型,就在你的手机上!!

Reddit r/ArtificialInteligence ↗ · 2026-07-05

一个本地且私有的语言模型(Qwen 3 的 1.5B 和 4B 量化版本)可以在智能手机上离线运行,附带从 32B 模型蒸馏而来的微调与 LoRA。

0 人收藏 0 人点赞
#quantized

RTX5090, gemma-4-31B-it-Q6_K.gguf。上下文:之前 - 35k,之后 - 80k!

Reddit r/LocalLLaMA ↗ · 2026-07-04

在RTX 5090上运行量化后的Gemma-4-31B模型,上下文长度从35k增加到80k,展示了显著的性能提升。

0 人收藏 0 人点赞
#quantized

prism-ml/Bonsai-27B-mlx-1bit

Hugging Face Models Trending ↗ · 2026-07-04 缓存

Bonsai-27B 是一个1位二元变换器模型,在手机(iPhone 17 Pro Max)上实现完整的27B级推理,占用约3.9 GB内存,速度约11 tok/s,保留了约90%的FP16智能表现。

0 人收藏 0 人点赞
#quantized

@BrianRoemmele: 轰!看看这场开源领域对Anthropic的寒武纪大爆发式反击!来看看Qwythos 9B,一个基于Qwen3.5的GGUF,它…

X AI KOLs Timeline ↗ · 2026-06-28 缓存

Qwythos 9B 是一款新的开源、无审查推理模型,基于Qwen3.5,提供GGUF量化版本,拥有100万token上下文、视觉能力和函数调用功能,性能相比基础模型有显著提升。

0 人收藏 0 人点赞
#quantized

huihui-ai/Huihui-GLM-5.2-abliterated-GGUF

Hugging Face Models Trending ↗ · 2026-06-28 缓存

Hugging Face 上发布了已消除限制的 GLM-5.2 模型的量化 GGUF 版本,可使用 Transformers、llama.cpp 和 vLLM 等工具进行本地推理。

0 人收藏 0 人点赞
#quantized

@support_huihui: 新增GGUF模型:huihui-ai/Huihui-Qwythos-9B-Claude-Mythos-5-1M-abliterated-GGUF 这是empero-ai/Qw…的未经审查版本

X AI KOLs Timeline ↗ · 2026-06-25 缓存

一款新的未经审查的GGUF量化版Qwythos-9B-Claude-Mythos-5-1M模型,通过abliteration技术创建,现已发布在Hugging Face上。

0 人收藏 0 人点赞
#quantized

unsloth/Qwen-AgentWorld-35B-A3B-GGUF

Hugging Face Models Trending ↗ · 2026-06-24 缓存

Unsloth 发布了 Qwen-AgentWorld-35B-A3B 的 GGUF 量化版本,这是一个原生语言世界模型,能够通过长链思维推理模拟七个领域(MCP、搜索、终端、SWE、Android、Web、操作系统)中的智能体环境,并通过 CPT、SFT 和 RL 进行训练。

0 人收藏 0 人点赞
#quantized

@antirez: 基于我在DwarfStar中实现GLM 5.2的说法,有90%的概率我会合并该分支…

X AI KOLs Following ↗ · 2026-06-24

Antirez宣布合并实现GLM 5.2的分支可能性很高,这可能成为运行在512GB Mac Studio上的最佳模型,并可能通过2位量化在分布式128GB MacBook上运行。

0 人收藏 0 人点赞
#quantized

nvidia/GLM-5.2-NVFP4

Hugging Face Models Trending ↗ · 2026-06-22 缓存

NVIDIA 发布了 GLM-5.2-NVFP4,这是 ZAI 的 GLM-5.2 MoE 语言模型的量化版本,使用 Model Optimizer 进行了优化,适用于 NVIDIA Blackwell GPU 上的推理。

0 人收藏 0 人点赞
#quantized

nvidia/Qwen3.6-27B-NVFP4

Hugging Face Models Trending ↗ · 2026-06-22 缓存

NVIDIA发布了Qwen3.6-27B-NVFP4,这是阿里巴巴Qwen3.6-27B模型的量化版本,针对在NVIDIA GPU上的部署进行了优化,支持文本、图像和视频输入。

0 人收藏 0 人点赞
#quantized

PSA: unsloth/GLM-5.2-GGUF 正在上传

Reddit r/LocalLLaMA ↗ · 2026-06-17 缓存

unsloth 已将 GLM-5.2 的 GGUF 版本上传至 Hugging Face,为 llama.cpp、vLLM 和 SGLang 等多种推理引擎提供了可直接使用的模型文件。

0 人收藏 0 人点赞
#quantized

@DJLougen:量化版本在此:https://huggingface.co/GestaltLabs/Ornstein-3.5-9B-V1.5-GGUF…

X AI KOLs Timeline ↗ · 2026-06-17 缓存

GestaltLabs 发布了 Ornstein-3.5-9B-V1.5 GGUF 量化版本,这是基于 Qwen 3.5 9B 的推理优化微调模型,配备了 MTP 头和视觉投影器,支持多模态应用。

0 人收藏 0 人点赞
#quantized

@WaleedAhmad1a10: 查看 Qwen 3.5 27B MoQ 的 GGUF 文件:

X AI KOLs Following ↗ · 2026-06-16 缓存

Hugging Face 仓库 (kaitchup/Qwen3.6-27B-GGUF-MoQ) 提供了 Qwen3.6-27B MoQ 模型的 GGUF 量化权重,支持使用 llama.cpp 和 Ollama 等工具进行本地推理。

0 人收藏 0 人点赞
#quantized

Jackrong/Qwopus3.6-27B-Coder-MTP-GGUF

Hugging Face Models Trending ↗ · 2026-06-11 缓存

GGUF量化版本的Qwopus3.6-27B-Coder-MTP模型已发布在Hugging Face上,针对本地推理进行了优化,兼容Transformers、vLLM、SGLang和Unsloth Studio。

0 人收藏 0 人点赞
#quantized

Holo3.1:快速本地计算机使用智能体

Hugging Face Blog ↗ · 2026-06-02 缓存

Holo3.1 是一个更新的计算机使用模型系列,提升了在网页、桌面和移动环境中的鲁棒性,引入了用于本地执行的量化检查点,并增加了对函数调用协议的原生支持。

1 人收藏 1 人点赞
Next →
← 返回首页

提交意见反馈