gpu-tuning

#gpu-tuning

更多 4 张 Intel B65 的测试结果——性能提升——通过增大分块大小，flash-next vllm 中的预填充和首 token 生成时间（TTFT）改善了约 30%。以及 MPT 基准测试——还有一段展示我在 LibreChat 中实际使用它的视频。

Reddit r/LocalLLaMA ↗ · 2026-10-22

一位爱好者分享了测试结果：在配备 4 块 Intel B65 的系统上，将分块大小增至 8192 后，vLLM Flash-Next 的预填充速度提升约 30%，首 token 延迟（TTFT）缩短约 30%，并附有详细的 Qwen3.8-Flash-Next 基准测试表格和 LibreChat 演示。

0 人收藏 0 人点赞

#gpu-tuning

大幅提升 --n-cpu-moe 部分卸载模型的提示词处理速度

Reddit r/LocalLLaMA ↗ · 2026-05-12

本文分享了一个 llama.cpp 的性能优化技巧，展示了增大微批大小（`-ub`）并结合部分 CPU 卸载（`--n-cpu-moe`）可以显著提升 gpt-oss-120b 等大型模型在消费级 GPU 上的提示词处理速度。

0 人收藏 0 人点赞

gpu-tuning

更多 4 张 Intel B65 的测试结果——性能提升——通过增大分块大小，flash-next vllm 中的预填充和首 token 生成时间（TTFT）改善了约 30%。以及 MPT 基准测试——还有一段展示我在 LibreChat 中实际使用它的视频。

大幅提升 --n-cpu-moe 部分卸载模型的提示词处理速度

提交意见反馈