标签
一位开发者分享了他们在单个8xA100节点上运行Llama 3.1 405B（AWQ int4）的经验，可热加载多达30个微调LoRA适配器，切换时间低于200毫秒，在超过60天的无重启运行中，为敏感的健康和法律任务实现了稳定的推理。