deployment-optimization

一条推文通过一个AI助手优化vLLM部署的例子，强调了开源AI的价值，并与没有开源AI的世界进行对比。

这篇论文提出了一个名为 Efficiency Frontier 的统一框架，将大模型上下文管理视为部署优化问题，联合建模任务表现、token 开销和预处理复用。在 5000 个 HotpotQA 实例上，部署优化可节省 25% 的 token 量，而记忆压缩在高精度场景下比全上下文便宜一半以上。