我的 GGUF 上传的新张量类型布局
摘要
作者分享了一篇关于 GGUF 上传的新张量类型布局的博客文章，详细描述了显示改进的模型量化性能的研究。
大家好，好久没发帖了。我想出来露个面，指向一篇我刚发布的博客文章，关于我进行的研究和我在发布的模型形状上所做的更改，你可以在这里阅读：https://huggingface.co/blog/bartowski/per-tensor-layout-maps-for-gguf-quantization 我不会试图声称“帕累托前沿”或“世界上最好的模型”，但从测试来看，新的形状看起来总体上比我之前发布的要好，所以我对结果非常满意，我希望这还不是结束 :) https://cdn-uploads.huggingface.co/production/uploads/6435718aaaef013d1aec3b8b/Ufz9TXQlKFxVHdocVoZIw.png 如果任何人有任何问题，请告诉我！
相似文章
transformers 原生支持 GGUF 格式！
Hugging Face 宣布在 transformers 库中原生支持 GGUF 文件，使得量化模型能更轻松地与 PyTorch 工具结合使用，性能与 llama.cpp 相当。
Gemma 4 12B Q3：通过张量级量化分配实现 +8.55% 编码性能提升
一位开发者创建了一个任务感知的 GGUF 量化流水线，利用张量级比特分配，在手调 imatrix 基础上将 Gemma 4 12B Q3 的编码性能提升了 8.55%，而模型大小仅增加了 0.119%。
@aisearchio: GLM 5.2 GGUF 已经来了！8位版本大小约为完整模型的一半。更小版本即将推出 https://huggingfa…
GLM 5.2 GGUF 量化模型已发布，8位版本大小约为完整模型的一半；更小版本即将推出。
@ggerganov: 直接使用transformers运行GGUF模型。这项工作将ggml的Metal内核引入transformers生态系统，提升兼容性和性能。
这项工作将ggml的Metal内核集成到transformers库中，使GGUF模型能够直接运行，提升兼容性和性能，实现Mac上的快速本地推理。
更多QAT内容以及毛茸茸的tick
作者发布了Gemma 4模型（12B和31B）改进后的GGUF量化版本，采用了更精确的量化感知训练过程，相比原版量化实现了更低的KLD和更高的同top百分比。