tile-rt

小米与TileRT使用标准商用GPU，在万亿参数模型上实现了每秒超过1000个token的推理速度，这显示了定制芯片之外的一个重要替代方案。

小米通过FP4量化和DFlash投机解码，在商用8-GPU节点上实现了其万亿参数模型MiMo-V2.5-Pro-UltraSpeed每秒超过1000 tokens的推理速度，性能超过GPT-5.5和Claude Opus 10倍以上。

小米 MiMo 发布 MiMo-V2.5-Pro-UltraSpeed，通过推测解码在 1 万亿参数模型上实现每秒超过 1000 个 token，这是首次大规模实际部署如此速度。

小米与TileRT合作发布了MiMo-V2.5-Pro-UltraSpeed，在1万亿参数模型上实现了超过1000 tokens/s的解码速度，支持实时AI交互，并加速了编程代理和推理任务。