Qwen3.8-Flash-Next 将 4xR9700 变成一个本地AI强机！使用优化的vLLM，单请求120 t/s 生成速度和12k t/s 预填充

如果你拥有 4xR9700 并一直在等待模型使其发挥潜力，那么我有一些好消息告诉你！它使用 tcclaviger 的 MXFP4-FP8 量化和为 R9700 优化的自定义 vLLM 镜像 docker.io/tcclaviger/vllm:DevQwenNextFlash，实现了单请求 80-120 个 token/秒的生成速度和 12k 个 token/秒的预填充速度。以下是完整命令：podman run --rm -it \\ --init \\ --network host \\ -v /models:/models:ro \\ -v ~/.vllm-cache:/cache \\ -e VLLM_PLE_CPU_OFFLOAD=1 \\ -e VLLM_ROCM_USE_AITER=0 \\ -e ROCR_VISIBLE_DEVICES=0,1,2,3 \\ -e VLLM_CACHE_ROOT=/cache/vllm \\ -e TORCHINDUCTOR_CACHE_DIR=/cache/inductor \\ -e TRITON_CACHE_DIR=/cache/triton \\ --device /dev/kfd \\ --device /dev/dri \\ --group-add keep-groups \\ --annotation run.oci.keep_original_groups=1 \\ --security-opt label=disable \\ --security-opt seccomp=unconfined \\ --shm-size 8g \\ docker.io/tcclaviger/vllm:DevQwenNextFlash \\ /models/tcclaviger/Qwen3.8-Flash-Next-MXFP4-FP8 \\ --served-model-name Qwen3.8-Flash-Next \\ --tensor-parallel-size 4 \\ --reasoning-parser qwen3 \\ --tool-call-parser qwen3_coder \\ --enable-auto-tool-choice \\ --max-num-seqs 16 \\ --enable-prefix-caching \\ --enable-chunked-prefill \\ --kv-cache-dtype fp8 \\ --max-num-batched-tokens 4096 \\ --gpu-memory-utilization 0.96 \\ --mm-processor-cache-gb 4.0 \\ --override-generation-config '{"max_tokens": 65536, "temperature": 1.0, "top_p": 0.95, "top_k": 40, "presence_penalty": 1}' \\ --speculative-config '{"method": "mtp", "num_speculative_tokens": 4}' \\ --compilation-config '{"cudagraph_capture_sizes": [5,10,15,20,25,30,35,40], "max_cudagraph_capture_size": 40}' \\ --host 0.0.0.0 \\ --port 8080