localai

LocalAI 新增 turboquant+ 后端，可在不升级硬件的情况下为 GGUF 模型提供更长上下文支持。