Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2

Hugging Face Models Trending 模型
gemma fine-tuned quantized apple-silicon mlx uncensored

摘要

SuperGemma4-26B-Uncensored-MLX-4bit-v2 是 Google Gemma 4 26B 的微调量化版本，专为 Apple Silicon 优化，在代码、推理和工具使用任务上性能提升，同时保持比原版基线更快的推理速度。

任务: 文本生成 标签: mlx, safetensors, gemma4, 未经审查, apple-silicon, 4bit, 量化, 推理, 工具使用, 编码, 浏览器自动化, 韩语, 快速, 文本生成, 对话式, en, ko, base_model:google/gemma-4-26B-A4B-it, base_model:quantized:google/gemma-4-26B-A4B-it, 许可证:gemma, 4-bit, 区域:us
查看原文
查看缓存全文

缓存时间: 2026/04/20 14:45

Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2 · Hugging Face

来源：https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2

https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2#supergemma4-26b-uncensored-fast-v2SuperGemma4-26B-Uncensored-Fast v2

面向 Apple Silicon 的更快、更锐利、未审查的 Gemma 4 26B 模型。

这是纯文本旗舰版本，适合希望核心权衡一目了然的人群：

  • 在实际本地智能体任务上比原版 Gemma 4 26B IT 更智能
  • 在同一台机器上比原版本地 4 位基线更快
  • 未审查，同时在代码、工具使用或韩语提示下保持稳定

https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2#why-this-model为什么选择这个模型

如果你想要快速线路而非多模态线路，这个版本就是你要运行的。

  • Fast 是发布身份的核心部分，而不仅仅是小变体
  • 在保持未审查行为的同时，实际能力提升
  • 代码、浏览器任务、工具使用、规划和韩语表现强劲
  • 针对 Apple Silicon MLX 上的本地智能体工作负载调优

https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2#headline-numbers核心数据

指标Gemma 4 26B IT 原始 4 位SuperGemma Fast
Quick bench 总体91.495.8
平均生成速度42.5 tok/s46.2 tok/s
总体增量基线+4.4
速度增量基线+8.7%

https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2#category-gains-vs-original各分类相比原版提升

分类原版SuperGemma Fast增量
代码92.398.6+6.3
浏览器87.589.6+2.1
逻辑86.995.2+8.3
系统设计97.898.9+1.1
韩语90.795.0+4.3

https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2#what-makes-it-attractive吸引人的地方

  • 在质量和速度上都超越了原版本地 4 位基线
  • 生成的代码更强，推理更扎实，工具导向的回答更有用
  • 在处理韩语和智能体风格提示时比原版本地运行效果更好
  • 保持未审查感觉，同时不会变得不稳定或输出崩溃
  • 在实际使用中立即感受到提升，而不仅仅是在某个小众基准测试中

https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2#base-and-format基座与格式

  • 基座模型：google/gemma-4-26B-A4B-it (https://huggingface.co/google/gemma-4-26B-A4B-it)
  • 格式：MLX 4 位
  • 大小：约 13GB
  • 最佳用途：快速的纯文本本地智能体模型，实际能力比原版 Gemma 4 更强

https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2#why-it-is-better-than-stock为何优于原版

  • Quick bench 总体得分更高：95.8 vs 91.4
  • 平均生成速度更快：46.2 tok/s vs 42.5 tok/s
  • 在本地智能体实际受益的方面获得更大提升：
    • 代码：+6.3
    • 逻辑：+8.3
    • 韩语：+4.3
    • 浏览器工作流：+2.1
  • 未审查行为是发布的核心属性，而非事后叠加

https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2#recommended-launch推荐启动方式

mlx_lm.server \
  --model Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2 \
  --port 8080

如需 OpenAI 兼容服务，让 mlx_lm.server 自动检测捆绑的模板。

不要在期望模板主体的启动路径中传递 --chat-template /path/to/chat_template.jinja 作为字面路径字符串。这可能导致响应损坏。

https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2#quick-test快速测试

mlx_lm.generate \
  --model Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2 \
  --prompt "Write a Python function that returns prime numbers up to n." \
  --max-tokens 512

https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2#included-files包含的文件

  • benchmark_quick_bench_20260412.json
  • benchmark_quick_bench_20260412_responses.jsonl
  • SERVING_NOTES.md

https://huggingface.co/Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2#notes备注

  • 这是快速的纯文本线路。
  • 此前 “推理已损坏” 的报告被复现为服务模板启动问题，而非权重损坏。
  • 在上传前已重新融合并在本地重新基准测试。

相似文章

Jiunsong/supergemma4-26b-uncensored-gguf-v2

Hugging Face Models Trending

SuperGemma4-26B-Uncensored-Fast GGUF v2 是 Google Gemma-4-26B 模型的量化、本地可运行变体，针对 Apple Silicon 进行了优化，提供更快的推理速度和较少审查的聊天行为，同时在通用任务上保持实用性能。

Gemma 4 26B-A4B GGUF 基准测试

Reddit r/LocalLLaMA

嘿，r/LocalLLaMA 社区，我们为不同提供方的 Gemma 4 26B-A4B GGUF 进行了 KL 散度（KL Divergence）基准测试，以帮助大家挑选最佳的量化版本。* 平均 KL 散度结果使几乎所有 **Unsloth GGUF 都位于帕累托前沿** * KLD 用于衡量量化模型与原始 BF16 输出分布的匹配程度，从而反映模型保留的精度。* 这使得 Unsloth 在 21/22 种尺寸中**表现最佳。**99.9% KLD 及其他指标也呈现相似趋势。* 我们还更新了我们的 Q6_K 量化版本以提高动态性。此前，它们...

unsloth/gemma-4-26B-A4B-it-GGUF

Hugging Face Models Trending

# unsloth/gemma-4-26B-A4B-it-GGUF · Hugging Face 来源：[https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF) ## [https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF#read-our-how-to-run-gemma-4-guide](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF#read-our-how-to-run-gemma-4-guide)阅读我们的[如何运行 Gemma 4 指南](https://docs.unsloth.ai/models/gemma-4)！ *请参阅[Unsloth Dynamic 2.0 GGUFs](https://unsloth.ai/docs/basics/unslot