标签
该文章宣布了 llama.cpp 对 AMD Strix Halo 集成 GPU (iGPU) 上的 DFlash 和 PFlash 投机解码的支持,并展示了使用 ROCm 时推理性能的显著提升。
用户在搭建可通过局域网访问的本地 LLM 服务器时,寻求关于选择 AMD Strix Halo 还是 Nvidia DGX Spark 硬件的建议。