localai

LocalAI 4.2.0 发布，包含超过 392 次提交，11 个新后端（包括语音和面部识别），增强了对 sglang 和 VLLM 的支持，并有来自 16 多位新开发者的贡献。

LocalAI 新增 turboquant+ 后端，可在不升级硬件的情况下为 GGUF 模型提供更长上下文支持。