我使用vLLM构建了一个LoRA适配器的无服务器托管平台

我一直很困扰，在为项目微调模型后，没有特别简单的方法来托管它，除非在本地运行并保持GPU全天候开启，或者支付整个GPU服务器的费用。虽然有基于vLLM的托管LoRA服务选项（如AWS），但你通常还是得为整个实例付费。我开始思考：如果基础模型和诸如rank 8–32的LoRA/QLoRA适配器之间99%以上的模型权重是相同的，为什么每个适配器都需要自己的服务器？vLLM已经具备了实现这一高效工作的许多关键组件，包括批处理、内存管理和融合LoRA内核。因此，我围绕这样一个理念构建了Lorivo：为每个基础模型配备一个GPU服务器，供多个LoRA适配器共享。基本流程是：上传LoRA适配器，Lorivo识别基础模型并将其发送到运行该模型的GPU服务器，适配器加载到内存中，然后你可以直接从Web应用获得一个兼容OpenAI的推理/使用端点。我还构建了一个CLI工具，使上传/部署适配器尽可能简单，以及一个用于手动上传的Web界面。操作就像执行lorivo login api-key和lorivo deploy ./my-lora一样简单。项目已上线：https://lorivo.dev。目前我自己在GPU上处理流量，因此可用的推理模型仅限于Qwen 3.5 4B，这将是100%免费的。我还有大约1000美元的AWS积分，希望用来添加一些额外模型。不过，我不确定哪些模型对社区最有用。你希望看到托管哪些模型？对于Qwen 3.5 4B，你也可以不使用适配器直接使用基础模型。只需将模型设置为qwen3-4b而不是qwen3-4b:my-adapter。我目前允许32k的上下文窗口。我还特意不保存聊天记录或推理请求。唯一收集的使用数据是令牌数和时间戳。非常希望从这里的人们那里获得反馈，特别是关于架构、哪些模型值得托管，以及这是否解决了你实际遇到的问题。