ktransformers

KTransformers 是一个优化大型混合专家模型推理和微调的框架，它通过将活跃的专家动态放置在 GPU 上，其余专家保留在 CPU 内存中，使得像 DeepSeek-V3 这样的大型模型能够在有限的消费级 GPU 内存上运行。

Yannick Nick 演示了如何使用 KTransformers 在 2 块 RTX Pro 6000 GPU 上以原生 FP4+FP8 精度运行 DeepSeek V4 Flash，从而在资源受限的系统上实现高效推理。

用户报告成功使用 ktransformers 在本地运行 DeepSeek V4 Pro 模型，并分享了在不同上下文深度下的详细基准测试结果，展示了改进的推理速度。

KTransformers 是一个灵活的研究框架，专注于前沿的大语言模型推理与微调，利用CPU-GPU异构计算，并支持多种最新模型。