本地漫画翻译器，内置 LLM，Rust 编写并集成 llama.cpp
摘要
Koharu 是一款开源的 Rust 漫画/图片翻译工具，融合目标检测、视觉 LLM OCR、版面分析与图像修复，并集成 llama.cpp，支持 Gemma 4 与 Qwen3.5 系列模型。
Hi LocalLLaMA，几周前我发过一版，这次项目更稳定、更易用。这是一款漫画翻译器，也能翻译任意图片，综合了目标检测、视觉 LLM OCR、版面分析与微调修复模型。我认为这是目前性能最好、最省心的漫画翻译流水线。LLM 部分我集成了 llama.cpp，支持 Gemma 4 和 Qwen3.5 系列，也包含无审查与微调模型；同时兼容 OpenAPI 接口，可用 LM Studio、OpenRouter 等。演示视频一目了然：点一下按钮即可跑完整流程，还能校对、改字、调字体大小和颜色，相当于迷你 Photoshop。感兴趣的话，项目完全开源：[https://github.com/mayocream/koharu](https://github.com/mayocream/koharu)
相似文章
构建一个媲美 Llama.cpp 的 Rust 推理引擎
Ferrox 是一个纯 Rust 推理引擎，可加载 GGUF 模型，并在 CPU、Metal 或 CUDA 上运行本地 LLM，提供 CLI 和兼容 OpenAI 的服务器。它的目标是在不使用任何绑定、从零编写的情况下，达到与 llama.cpp 相当的性能。
使用llama.cpp在GStreamer中进行本地LLM文本翻译或转换
一个新的GStreamer元素集成了llama.cpp，使得在多媒体管道中能够基于本地LLM进行文本翻译和转换，从而实现实时字幕生成和改写。
适用于 Linux 的本地语义文件搜索（Rust、llama.cpp、EmbeddingGemma 2）
Recall 是一款开源的 Linux 本地语义文件搜索工具，使用 Rust 和 GTK 4 构建，通过 llama.cpp 运行 EmbeddingGemma 2，为 PDF、Office 文件、媒体文件等建立索引，支持基于内容的查询，模型下载后无需网络连接。
ggml-org/llama.cpp
llama.cpp 是一个开源 C/C++ 库，用于在本地硬件上高效运行 LLM 推理，支持多种量化方法和多后端（CPU、GPU 等）。
[WIP] Gemma 4 MTP
llama.cpp 是一个开源 C/C++ 库，用于在各种硬件上高效进行 LLM 推理，支持多种量化格式和 GPU 后端。本篇 README 详细介绍了其功能、安装方法以及近期更新，包括 Hugging Face 缓存迁移和多模态支持。