@ClementDelangue: 本地 AI 正在迎来它的时刻!以下是过去 8 个月每月新增的 GGUF 模型数量及相关见解……
摘要
本文强调了 Hugging Face 上本地 AI GGUF 模型创建量的显著激增,近几个月的每月新增量几乎翻倍,超过 9,000 个,这得益于工具的改进以及新的开源权重模型的发布。
本地 AI 正在迎来它的时刻!以下是过去 8 个月每月新增 GGUF 模型的数量,以及来自我们 HF 内部代理的见解(5 月数据为部分统计):
- HF 上共有 176,000 个公开 GGUF 模型
- 两个明显的阶段:10 月至 2 月平均每月新增约 5,100 个 GGUF 模型。随后 3 月至 4 月跃升至每月约 9,200 个——几乎是之前速度的两倍。
- 3 月是转折点(环比增长 55%)——这可能由一波新的开源权重模型发布并被量化为 GGUF 格式所驱动。
- 4 月势头持续,新增 9,700 个,表明这并非一次性激增,而是一个新的基准线。
- GGUF 生态系统正在加速——社区量化模型的速度比以往任何时候都快,这很可能归功于更好的工具支持(llama.cpp 的改进、自动化量化管道,以及更多原生支持 GGUF 的模型)。让我们出发吧!
相似文章
@ClementDelangue: 来自@斯坦福的一项研究显示,71.3%的ChatGPT查询可以由本地模型准确回答。我怀疑……
Clement Delangue宣布了一项新的Hugging Face功能,可以根据本地硬件筛选AI模型。他引用斯坦福大学的一项研究,称大多数ChatGPT查询可以在本地得到准确回答,从而节省成本并增强所有权。
@TraffAlex: 32GB VRAM的AI模型 — 前17名速查表 调用HuggingFace API,获取了真实的.gguf Q4大小。每个链接均为直接下载…
一份速查表,列出了使用GGUF Q4量化针对32GB VRAM优化的顶级AI模型,并提供来自HuggingFace的直接下载链接。包含Qwen、DeepSeek、Llama和Mistral系列的模型,以及关于量化和上下文设置的提示。
@ClementDelangue:OpenAI 今天在 HF 上新发布了一个模型!
OpenAI 今天在 Hugging Face 发布了一个新模型。
现在运行本地模型已经很不错了
作者报告说,运行本地AI模型如今已经表现出色,最近发布的GPT-OSS和Gemma 4等模型使得在本地进行自主编码的准确率达到了前沿模型的大约75%,与几个月前相比有了显著提升。
SyzygyResearch/Mach-1-Additive-35B-GGUF · Hugging Face
本文介绍了Mach-1-Additive-35B AI模型的GGUF构建,该构建通过自定义llama.cpp分支针对消费级硬件优化了本地推理,并突出了强大的基准测试性能。