我让Gemma 4直接在Godot中仅使用GDScript和Vulkan计算着色器运行

Reddit r/LocalLLaMA 2026/07/13 09:01 工具

godot gemma vulkan compute-shaders gdscript ai-inference

摘要

一位开发者成功将Gemma 4 AI模型集成到Godot游戏引擎中，仅使用GDScript和Vulkan计算着色器，实现了游戏内的本地AI推理。

暂无内容

查看原文

相似文章

Reddit r/LocalLLaMA

Gemma 4被演示在浏览器中通过WebGPU以每秒255个token的速度运行，使用Fable 5生成的内核，展示了高效的设备端推理。

X AI KOLs Timeline

Gemma 4 现在可以使用 React Native 在设备端完全离线运行，通过 Android 上的 Vulkan 和 Apple Silicon 上的 MLX 实现本地硬件加速，支持视觉和工具使用能力，例如阅读传单和安排日程，完全在设备端完成。

Reddit r/LocalLLaMA

作者展示了在仅使用 CPU 的系统上，通过 Koboldcpp 高效运行 Gemma-4-26B-A4B 模型，在一台旧台式机上达到了每秒 7 个 token 的速度，这表明运行本地大语言模型推理可能并不需要强大的 GPU。

Hacker News Top

一位开发者成功在无GPU、双路Xeon的13年旧服务器上，使用修改版ik_llama.cpp（无需AVX2指令），以约每秒5个token的速度运行谷歌的Gemma 4 26B混合专家模型。

X AI KOLs Timeline

Alok演示了使用Unsloth的QAT量化以及llama.cpp中的-cmoe标志，在8GB显存上运行Gemma 4 26B MoE，实现了250k上下文下20 token/秒的速度，这标志着廉价本地AI的一个重要里程碑。