运行Deepseek V4 Flash-0731 130-150 tks的基础方法：16x5060ti 16GB配置与2个PLX88096交换机

Reddit r/LocalLLaMA 新闻
deepseek multi-gpu ai-inference parallel-computing hardware-setup custom-code

摘要

本文详细介绍了使用16个RTX 5060 Ti GPU和PLX交换机运行Deepseek V4 Flash模型的已验证硬件配置，实现了特定的上下文处理和吞吐量性能指标。

组件 已验证配置 主板 ASRock Rack SPC621D8U-2T/OVH CPU Xeon Gold 6330（如果对Optane Pmem功能感兴趣，可获取金/铂金系列） GPU架构 两个Broadcom/PLX PEX88096岛，每个岛八个GPU GPU 16 x RTX 5060 Ti 16 GB 操作系统 Ubuntu 22.04.5 LTS 内核 6.8.0-106-generic NVIDIA驱动 Aikitoria修补的开放驱动610.43.02-p2p 所需BAR1 每个GPU上16,384 MiB UEFI启动已启用；CSM禁用。安全启动禁用。本地构建的EFI应用程序和修补的NVIDIA模块未签名。Above 4G Decoding已启用。MMIO High Granularity设置为1024G。MMIO High Base设置约为56T。此机器上SR-IOV禁用。intel_iommu=off pci=realloc=on,hpmmioprefsize=512G在GRUB中；NVreg_EnableResizableBar=1用于NVIDIA模块；设置大小代码14 → 16 GiB BAR1在每16个GPU上。临时禁用PCI内存解码并清除旧BAR1地址以便Linux重新分配。PLX交换机ACS控制寄存器：对于每个PLX/PEX桥，写入：ECAP_ACS+0x6.w = 0000。之后，进行一些自定义编码以使自定义all-reduce在每个PLX集群内工作，并使DSpark适用于流水线并行。对于张量并行8、流水线并行2：可用500k上下文。在高达500k上下文下，困惑度约4000，token生成速度100-150（在DeepSeek Harness中平均140）。对于张量并行4、流水线并行4：可用完整1M上下文。在高达500k上下文下，困惑度约7000，token生成速度80。整个设置花费了0.6倍RTX6000 Pro的价格。
查看原文

相似文章

Deepseek V4 Flash 在 RTX 5090 MoE 上运行

Reddit r/LocalLLaMA

用户分享了在 RTX 5090 上使用 llama.cpp 的一个分支运行 DeepSeek-V4-Flash (Q2_K) 的优化基准测试结果，实现了 21.3 token/秒的生成速度和 100 万上下文大小。