jinfer：面向JVM的开源AI推理引擎。AI终于进入JAR。

多年来，JVM一直旁观AI革命。每个模型、AI框架、每个突破，都是用Python构建或为Python而生。jinfer是一个从第一性原理出发为JVM构建的推理引擎：支持聊天、视觉、音频转录、嵌入、重排序和文本转语音。无需Python运行时、无ONNX、无sidecar进程、无包装器；整个技术栈专为JVM构建：jinfer是面向JVM的推理引擎，支持多种流行模型和模态。Tok'n'Roll (toknroll) 快速分词器，用于LLMs，纯Java，零依赖。gguf / safetensors 原生读写支持两种主要模型格式。jam 量化矩阵乘法例程（Vector API + 可选原生后端），在CPU上与llama.cpp竞争。jota Tensor API，支持Java、C、CUDA、HIP、Metal、OpenCL和Mojo。它与Spring AI和LangChain4j集成，并提供对GraalVM Native Image的一流支持。现状：这是一个早期版本。目前CPU是主要目标，且已与llama.cpp竞争。通过jota的GPU支持正在开发中。可运行的示例+基准测试：https://qxotic.ai Jinfer (Apache 2.0)：https://github.com/qxoticai/qxotic/tree/main/jinfer 附注：我是它的作者，同时也是llama3.java (2024) 和 gemma4.java 的作者。