换用 EPYC：我必须解决的问题，以及前后数据对比

升级前后使用相同的 GPU：- RTX 3090 FE - RTX 5070 Ti - 2× RTX 5060 Ti 16 GB（其中一张已拆下，正在等转接延长线，所以以下大型 MoE 的测试使用了 3 张卡，而升级前是 4 张）。升级前 升级后 CPU / 主板 Core Ultra 7 265KF、MSI Z890 EPYC 7443（24 核、Zen 3、4 个 CCD）、Supermicro H12SSL-NT 内存 64 GB DDR5-6000、2 通道 256 GB DDR4 ECC RDIMM、8 通道（2666 的内存条，以 3200 运行）GPU 连接 x8 / x8 / x4 / x4（芯片组）x16 / x16 / x8 电源 1050 W NZXT C1500 ## 我必须修复或调整的地方 **风扇每隔几秒就突然加速。** BMC 默认的风扇“下限临界”阈值（420 RPM）高于静音风扇的空闲转速，因此它不断判定风扇停转，并将所有风扇拉到 100%。解决办法：对每个已连接的风扇执行 `ipmitool sensor thresh FANx lower 100 200 300`，然后执行 `ipmitool mc reset cold`。BMC 会按 140 RPM 的步长取整。**将内存从 2666 超频至 3200。** Triad 带宽从 88.6 → 102 GB/s；GLM 解码速度提高约 +3–5%。稳定性验证：memtester（以 root 身份运行：以普通用户运行时，memlock 限制会悄悄将每个实例的测试内存缩小到约 8 MB），再加上连续运行 DeepSeek 3 小时，确认全程 ECC（错误纠正）计数均为 0 次已纠正 / 0 次不可纠正。**在内核命令行中添加 `iommu=pt`。** llama.cpp 张量并行的预填充速度提高 +3.5%，NVMe 随机读取性能也恢复了（KIOXIA QD32 从 837K → 941K IOPS）。**BIOS：**- APBDIS = 1，并将 SOC P-state 固定为 P0，使 Infinity Fabric 始终以最高频率运行（空闲功耗增加约 +20 W）。- Determinism 滑块设为 Power。- **开启 Resizable BAR**（之前是关闭的：BAR1 只有 256 MiB）。- 开启 PCIe Ten Bit Tag。综合效果：张量并行预填充速度再提高 +4%，GLM 解码速度也提高了几个百分点。**llama.cpp `-sm tensor`：用 `-ub 1024` 代替 512。** 没有 P2P 时，两张卡需要通过系统内存、跨越 I/O 芯片来中转每一层的结果。更大的微批次使中转次数减半：Qwen3.8-27B 提速 +5%，一个 27B 微调模型提速 +9%。这需要略多一些显存，所以分配比例稍微向 3090 倾斜。**没有帮助，或者反而变差的调整：**- **Performance 调速器：**没有变化。- **`NCCL_SHM_USE_CUDA_MEMCPY=1`：**会让 llama.cpp 张量并行**卡死**（第一个请求永远无法完成）。- **为 GLM 的 CPU 专家计算路径分配更多 CPU 线程：**超过约 16 个线程后性能就不再提升，所以我不会为此升级到 8 CCD 的处理器。- **禁用 ACS：**在没有 PCIe 交换芯片或 P2P 的情况下毫无意义。## 升级前 / 升级后（完成上述所有调整后的最新数据）测试 升级前 升级后 变化 内存带宽，Triad，全部线程 58.8 GB/s 102.0 GB/s **+73%** 内存带宽，1 线程 32.3 GB/s 37.4 GB/s +16% PCIe 主机↔GPU，3090 / 5070 Ti 12.8 / 13.6 GB/s 26.8 / 28.4 GB/s **约 2×** PCIe，5060 Ti 6.4 GB/s 14.1 GB/s **2.2×** **GLM-5.3-Flash**（Project Maya，IQ3_S）：解码 9.7 tok/s 41.0 tok/s **4.2×** GLM-5.3-Flash：29K 提示词预填充 / 随后的解码 577 / 8.2 1,069 / 37.8 **1.9× / 4.6×** **DeepSeek-V4.1-Flash**（Project Maya，Maya-S）：解码 9.3 tok/s 35.2 tok/s **3.8×** DeepSeek-V4.1-Flash：29K 提示词预填充 / 随后的解码 320 / 6.8 1,064 / 31.2 **3.3× / 4.6×** **Strata**（Qwen3.8-Flash-Next IQ3_S）：1K / 32K 提示词预填充 437 / 3,164 tok/s 808 / 3,756 tok/s +85% / +19% Strata：解码，代码 / 智能体（20K 上下文）126 / 103 tok/s 149 / 119 tok/s +18% / +16% **Qwen3.8-27B Q6_K**，llama.cpp 张量并行（3090 + 5070 Ti）：64K 预填充 1,146 tok/s 1,120 tok/s −2%（调优前为 −13%）Qwen3.8-27B：解码，短提示词 / 64K 提示词 72.6 / 76 tok/s 70.5 / 78 tok/s 基本相同 SSD 随机 4K 读取 QD32，WD SN7100（btrfs）102K IOPS 381K IOPS **3.7×** SSD 随机 4K 读取 QD32，KIOXIA（xfs）986K IOPS 941K IOPS −5% SSD 顺序读取，两块硬盘均为约 7.1 GB/s 约 7.2–7.4 GB/s 相同 **说明：**- **引擎版本：**Maya 和 Strata 在此期间都进行了更新。Strata 的“升级前”版本同属 0.2.x 系列；Maya 则从 1.0.34 / 1.1.20 升到了 1.1.42。- **基准测试设置：**Strata 和 27B 的测试均使用温度 0，并关闭思考，因此这些是最佳情况下的解码速度。前后对比条件一致。- **大型 MoE 模型**之前受限于内存容量。升级前，每生成一个 token 都要从 NVMe 硬盘读取模型的 30–60%；现在整个模型都能放进显存和内存中，这就是 4 倍提升的来源。- **在 GPU 上运行的稠密模型没有收益。** 27B 的瓶颈是显卡之间的中转。只有在调整 IOMMU、BIOS 和 `-ub` 后，它才恢复到与升级前相当的水平。总体来说，我非常满意。考虑到 Claude 和 ChatGPT 会阻止 REA 和安全加固之类的事情，能以非常实用的速度运行 GLM 和 DeepSeek，对我而言完全值得这笔投入。我还有大量闲置的 PCIe 通道和插槽，等银行账户从这轮升级中缓过来后，还能继续添加 GPU。如上所述，除非能找到买家接手我的 7443，否则我不太相信换成 8 CCD 的 Milan 值得这笔花费。如果有人有实际使用中的对比数据，请分享一下。我现在的空闲功耗约为 180W——部分 BIOS 调整使它从最初看到的 156W 上升到了这个水平（我使用智能插座测量插座端功耗）。希望这些内容能对考虑类似升级路线的人有所帮助。