Java 版类 vLLM 框架声称在 NVIDIA GPU 本地推理中通过将 Java 编译为 CUDA 和 cuTile 达到 llama.cpp 约 90% 的性能

Reddit r/LocalLLaMA 工具
java cuda llm-inference gpu-acceleration jit-compilation open-source

摘要

TornadoVM 团队推出 jitLLM——一个 Java 版类 vLLM 推理框架，通过将 Java 编译为 CUDA 和 cuTile，在 NVIDIA GPU 上的本地推理中达到 llama.cpp 约 90% 的性能。

TornadoVM：Java 到 CUDA 引擎：https://github.com/beehive-lab/TornadoVM jitLLM：推理引擎：https://github.com/beehive-lab/jitllm 深入解析演讲：https://www.youtube.com/watch?v=HO5CpETzywk
查看原文

相似文章

ggml-org/llama.cpp

GitHub Trending (daily)

llama.cpp 是一个开源 C/C++ 库，用于在本地硬件上高效运行 LLM 推理，支持多种量化方法和多后端（CPU、GPU 等）。

Llama.cpp v0.1.0

Hacker News Top

Llama.cpp v0.1.0 是用于高效 LLM 和 VLM 推理的 C/C++ 实现，支持广泛的硬件，配置简单且性能卓越。

llm-d（网站）

TLDR AI

llm-d 是一个开源、Kubernetes 原生的分布式 LLM 推理栈，支持 vLLM、SGLang 等引擎，可在 GPU、TPU、XPU 等异构硬件上提供生产级服务，并宣称大幅提升吞吐量与降低 TTFT。