@stevibe：MiniMax M2.7 有 230B 参数，家里真能跑？我用 Unsloth 的 UD-IQ3_XXS（80 GB）在 4 套配置上实测：…

X AI KOLs Following 新闻
llm local-inference quantization benchmark consumer-hardware large-language-model

摘要

MiniMax M2.7 有 230B 参数，家里真能跑？我用 Unsloth 的 UD-IQ3_XXS（80 GB）在 4 套配置上实测：4×RTX 4090（96 GB）：71.52 tok/s，首 token 延迟 1045 ms；4×RTX 5090（128 GB）：120.54 tok/s，首 token 延迟 725 ms；1×RTX PRO 6000（96 GB）：118.74 tok/s，首 token 延迟 765 ms；DGX

MiniMax M2.7 有 230B 参数，家里真能跑？我用 Unsloth 的 UD-IQ3_XXS（80 GB）在 4 套配置上实测： - 4×RTX 4090（96 GB）：71.52 tok/s，首 token 延迟 1045 ms - 4×RTX 5090（128 GB）：120.54 tok/s，首 token 延迟 725 ms - 1×RTX PRO 6000（96 GB）：118.74 tok/s，首 token 延迟 765 ms - DGX
查看原文
查看缓存全文

缓存时间: 未知

MiniMax M2.7 有 230B 参数，真的能在家里跑起来吗？
我在 4 套不同设备上测试了 Unsloth 的 UD-IQ3_XXS（80 GB）：

  • 4× RTX 4090（96 GB）：71.52 tok/s，首 token 延迟 1045 ms
  • 4× RTX 5090（128 GB）：120.54 tok/s，首 token 延迟 725 ms
  • 1× RTX PRO 6000（96 GB）：118.74 tok/s，首 token 延迟 765 ms
  • DGX

相似文章

MiniMax2.7 @47tg 1200pp

Reddit r/LocalLLaMA

MiniMax2.7模型发布，拥有47万亿参数和1200页上下文长度。