小米现在使用DFlash和Persistent内核以1000-3000 tps提供服务MiMo V2.5。DFlash模型已发布，并承诺即将开源发布。

Reddit r/LocalLLaMA 模型
xiaomi mi-mo dflash persistent-kernel open-source inference-speed model-release

摘要

小米发布了搭载DFlash和Persistent内核的MiMo V2.5，实现了1000-3000 tps。DFlash模型现已可用，并承诺即将开源发布。

[https://mimo.xiaomi.com/blog/mimo-tilert-1000tps](https://mimo.xiaomi.com/blog/mimo-tilert-1000tps)
查看原文

相似文章

XiaomiMiMo/MiMo-V2.5-Pro-FP4-DFlash

Hugging Face Models Trending

XiaomiMiMo 发布 MiMo-V2.5-Pro-FP4-DFlash，这是一款 FP4 量化的 MoE 模型，采用块扩散推测解码，以减少万亿参数推理的内存和带宽。