HIPfire 是否值得用于 Strix Halo?

Reddit r/LocalLLaMA 工具

摘要

本文征求社区对 HIPfire 在 AMD Strix Halo 硬件上的性能和质量评估,特别是与 llama.cpp 相比的长上下文支持情况。

有人评估过 [HIPfire](https://github.com/Kaden-Schutt/hipfire) 在 Strix Halo 上的长上下文(10万+ token)支持和质量吗?据称它承诺相比 llama.cpp 等工具有显著的性能提升。你测得的 TPS 性能和质量如何?
查看原文

相似文章