交互式 Jacobian-Lens 可视化工具和实时引导器,用于 llama.cpp 上的 GGUF 模型
摘要
交互式 Jacobian-Lens 可视化工具和实时引导器,适用于在 llama.cpp 上运行的 GGUF 模型,实现实时模型可解释性和控制。
暂无内容
相似文章
orcarouter/Qwen3.8-27B-Uncensored-GGUF
这是Qwen3.8-27B无审查模型的GGUF转换版本,一个abliterated版本(移除了安全对齐),用于研究目的,运行在llama.cpp上,支持多种量化方案和视觉功能。
LiquidAI/LFM2.5-2.6B-GGUF
此 Hugging Face 模型卡片介绍了 LiquidAI 的 LFM2.5-2.6B 模型(GGUF 量化格式),并提供了通过 llama.cpp、vLLM、Ollama 等工具在本地运行的说明。
PSA: unsloth/GLM-5.2-GGUF 正在上传
unsloth 已将 GLM-5.2 的 GGUF 版本上传至 Hugging Face,为 llama.cpp、vLLM 和 SGLang 等多种推理引擎提供了可直接使用的模型文件。
模型:Granite4 Vision,作者 gabe-l-hart · 拉取请求 #23545 · ggml-org/llama.cpp
此拉取请求为 llama.cpp(一个开源 LLM 推理引擎)增加了对 Granite4 Vision 模型的支持。
每次在 vLLM 和 llama.cpp 上换模型都要重写参数,所以我建了个工具来管理它们(llmux, MIT)
一位开发者构建了 llmux,这是一个开源工具,用于简化跨不同引擎(如 vLLM 和 llama.cpp)管理模型配置,支持一键切换,并集成了 Docker 和 NVIDIA GPU 支持。