api-server

Quartermaster是一个开源本地AI平台，简化了模型管理、VRAM分配，并提供一个与OpenAI兼容的API，内置聊天游乐场，支持多种后端如llama.cpp和stable-diffusion.cpp。

llama.cpp现在支持GLM-Air模型的MTP（多令牌预测），增强了C/C++中大型语言模型的推理能力。

Nativ是一款新的macOS桌面应用，它封装了MLX以在本地运行AI模型，提供聊天界面和API服务器。

llm_wiki v0.4.11 发布，新增本地 API Server 支持 Agent 接入，统一搜索后端，知识图谱新增搜索功能，Star 数突破 8k。