@Chuksdakingz：你可以在U盘或本地硬盘上运行大型语言模型，支持平台：mac、windows、linux和android，模型：> Gemma 4 …
摘要
关于在本地设备上通过U盘运行大型语言模型（如Gemma 4、Qwen 3.5、Gemma 2）的指南，无依赖，仅需8GB内存。
查看缓存全文
缓存时间: 2026/06/25 11:18
您可以在U盘或本地硬盘上运行大型LLM
支持平台：mac、windows、linux 和 android
模型：
Gemma 4 E4B Ultra Uncensored Heretic（约 5.34 GB）
Qwen 3.5 9B Uncensored Aggressive（约 5.2 GB）
Gemma 2 2B Abliterated（约 1.6 GB）
任何可从HuggingFace下载的 .gguf 权重模型
拔出U盘，LLM随之消失
无需依赖项
运行 9B/16B 模型仅需 8GB 内存
视频是安装指南。
GitHub：
我的量化，向您学习，dad
相似文章
@UnslothAI：Gemma 4 12B 现在可以通过 Dynamic GGUFs 在仅 8GB 内存上本地运行。Google 的新模型 Gemma 4 12B Unified 支持图像…
Gemma 4 12B，Google 的多模态开放模型，支持图像、音频和 256K 上下文，现在可以通过 Unsloth 的 Dynamic GGUFs 在仅 8GB 内存上本地运行，并通过 Unsloth Studio 实现本地训练和推理。
谷歌的 Gemma 4 12B 刚刚发布 —— 下面教你如何在 Mac 上本地运行它
Google 发布了 Gemma 4 12B，这是一款基于 Apache 2.0 开源协议的多模态模型，支持文本、视觉和音频处理，上下文窗口达 256K。本文提供了一份指南，介绍如何在 Mac 上使用 Ollama、LM Studio 或 llama.cpp 本地运行该模型。
在 24 GB Mac 的浏览器标签页中运行 Gemma 4 26B-A4B 和 37 GB 的 Qwen3.6 MoE —— 专家权重从磁盘流式加载，输出与 llama.cpp 一致
LocalMind 进行了更新：在浏览器标签页中通过 WebGPU 生成时，从磁盘流式加载混合专家（mixture-of-experts）权重，使一台 24 GB 的 Mac 能够运行 14.4 GB 的 Gemma 4 26B-A4B，甚至 37 GB 的 Qwen3.6 模型，且输出与在相同 GGUF 文件上运行的 llama.cpp 一致。
@bytebytego: 如何在本地运行LLMs
一份指南，说明如何在您自己的硬件上本地运行大型语言模型。
谷歌新推出的Gemma 4 12B模型旨在任何配备16GB RAM的笔记本电脑上运行
谷歌发布Gemma 4 12B，这是一款紧凑型AI模型，专为仅需16GB RAM的本地笔记本使用而优化，具备多令牌预测以及针对文本、音频和图像的简化多模态能力。