@zephyr_z9: 这太重要了，我认为这是第一个实用的推测解码方法，部署在大型准前沿模型上 M…

X AI KOLs Following 模型
speculative-decoding high-speed-inference trillion-parameter xiaomi tile-rt ultra-fast

摘要

小米 MiMo 发布 MiMo-V2.5-Pro-UltraSpeed，通过推测解码在 1 万亿参数模型上实现每秒超过 1000 个 token，这是首次大规模实际部署如此速度。

这太重要了 我认为这是第一个实用的推测解码方法，部署在大型准前沿模型上 巨大的解锁 @fi56622380 https://t.co/augiaFLDOK
查看原文
查看缓存全文

缓存时间: 2026/06/09 10:45

这实在太大了 我认为这是首个在大型准前沿模型上部署的有用投机解码方法 巨大解锁 @fi56622380 https://t.co/augiaFLDOK

Xiaomi MiMo (@XiaomiMiMo): 🚀 1万亿参数模型实现每秒1000+ tokens！🚀

我们激动地宣布，与@TileRT_AI合作推出Xiaomi MiMo-V2.5-Pro-UltraSpeed，在1万亿参数模型上首次突破每秒1000 tokens的输出速度！

这不是Cerebras那样的晶圆级集成。也不是纯粹…

相似文章

XiaomiMiMo/MiMo-V2.5-Pro-FP4-DFlash

Hugging Face Models Trending

XiaomiMiMo 发布 MiMo-V2.5-Pro-FP4-DFlash，这是一款 FP4 量化的 MoE 模型，采用块扩散推测解码，以减少万亿参数推理的内存和带宽。