slimserve

作者分享了使用BF16 KV缓存而非turboquant进行AI模型优化的技术经验，并在SlimServe中为Qwen模型实现了CPU卸载以管理VRAM消耗。

QuixiAI 报告称，使用 SlimServe 在 4x A100 上运行 DeepSeek v4 Flash 0731，单请求达到 175 tok/s，64 并发请求达到 1k tok/s。