@stevibe：MiniMax M2.7 有 230B 参数，家里真能跑？我用 Unsloth 的 UD-IQ3_XXS（80 GB）在 4 套配置上实测：…

X AI KOLs Following 新闻
llm local-inference quantization benchmark consumer-hardware large-language-model

摘要

MiniMax M2.7 有 230B 参数，家里真能跑？我用 Unsloth 的 UD-IQ3_XXS（80 GB）在 4 套配置上实测：4×RTX 4090（96 GB）：71.52 tok/s，首 token 延迟 1045 ms；4×RTX 5090（128 GB）：120.54 tok/s，首 token 延迟 725 ms；1×RTX PRO 6000（96 GB）：118.74 tok/s，首 token 延迟 765 ms；DGX

MiniMax M2.7 有 230B 参数，家里真能跑？我用 Unsloth 的 UD-IQ3_XXS（80 GB）在 4 套配置上实测： - 4×RTX 4090（96 GB）：71.52 tok/s，首 token 延迟 1045 ms - 4×RTX 5090（128 GB）：120.54 tok/s，首 token 延迟 725 ms - 1×RTX PRO 6000（96 GB）：118.74 tok/s，首 token 延迟 765 ms - DGX
查看原文 导出为 Word 导出为 PDF
查看缓存全文

缓存时间: 未知

MiniMax M2.7 有 230B 参数，真的能在家里跑起来吗？
我在 4 套不同设备上测试了 Unsloth 的 UD-IQ3_XXS（80 GB）：

  • 4× RTX 4090（96 GB）：71.52 tok/s，首 token 延迟 1045 ms
  • 4× RTX 5090（128 GB）：120.54 tok/s，首 token 延迟 725 ms
  • 1× RTX PRO 6000（96 GB）：118.74 tok/s，首 token 延迟 765 ms
  • DGX

相似文章

MiniMaxAI/MiniMax-M2.7

Hugging Face Models Trending

MiniMaxAI发布了MiniMax-M2.7，这是一个开放权重模型，具备自我进化能力、先进的智能体团队支持，并在软件工程基准测试中表现出色（SWE-Pro上56.22%，MLE Bench Lite上66.6%奖牌率），在生产事故恢复和专业工作任务中有显著应用。