sie

本文认为，vLLM及类似的服务框架由于设计限制，在单个GPU上运行多个小型AI模型时效率低下。它介绍了SIE开源推理引擎，作为同时服务多个模型以降低成本的一种解决方案。