loft

本文介绍了 SOMA，这是一种高效的 LLM 多轮对话服务框架，它利用经过软提示和 LoRA 微调适配的小语言模型来降低延迟和成本。