Open Dungeon：本地角色扮演，使用Gemma 4 QAT + 内嵌Uncen-FLUX图像，在8GB内存下运行完整256K上下文（OS）

Reddit r/LocalLLaMA 工具
local roleplay gemma-4 flux uncensored open-source privacy

摘要

一款开源的本地AI地牢应用，使用Gemma 4和FLUX进行文本和图像生成，完全私密，运行内存低于8GB。

我想要一个AI Dungeon，但要完全本地且真正私密，所以我把它造出来了。叙述者是Gemma 4（QAT Q4），通过Ollama运行；当场景值得展示时，它也会在本地用FLUX绘制图片。没有API密钥，没有云端，一切都不离开你的机器。让我惊讶的是：你可以以完整的256k上下文运行12B模型，它仍然只占用大约7.7GB内存，因为Gemma 4的KV缓存几乎不增长。所以叙述者基本上可以把整个故事记在脑子里。旧场景滚出后会被压缩成运行摘要，这样它永远不会忘记第一章发生了什么。它的玩法如你所料：Do（行动）/ Say（说话）/ Story（叙述）模式、继续、重试、擦除、可编辑任何一行。在UI中选取模型，它会预先显示内存消耗。发布版本中有Mac一键构建版，也可以从源码运行。MIT许可，希望大家来折腾它并告诉我少了什么。[https://github.com/newideas99/open-dungeon](https://github.com/newideas99/open-dungeon)
查看原文

相似文章

yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF

Hugging Face Models Trending

针对代码任务的 Gemma 4 12B 专注微调版本，从思维链数据（Composer 2.5 和 Fable 5）中蒸馏而来，并量化为 GGUF 格式，以在本地离线使用，仅需极低 VRAM 要求