llm-runtime

一位开发者通过在 4070 Ti + 32GB 内存上利用 GPT-OSS 120B 的 MoE 架构，将冷专家从 NVMe 流式加载、热专家缓存在 GPU 上，并采用 top-1 近似，最终达到了 21 tok/s 的本地运行速度。