high-speed-inference

Mercury 2.5 被宣布为最强大的扩散语言模型，智能方面比 Mercury 2 提升 40%，在 NVIDIA GPU 上运行速度超过每秒 1,100 个令牌，并针对生产进行了优化，具有低延迟和低成本。

Nifer 是一款工具，能够在 Qwen 3.6 35B 上实现每秒 700 个 token 的推理（无思考模式），专为 RTX 5090 优化，并支持完整的 25 万上下文。

Kog 开源了 Laneformer 2B 模型，这是一个 23 亿参数、经过指令调优的编码模型，专为高速解码设计。通过从架构阶段优先考虑延迟，实现了每秒超过 3000 个 token 的生成速度。

小米 MiMo 发布 MiMo-V2.5-Pro-UltraSpeed，通过推测解码在 1 万亿参数模型上实现每秒超过 1000 个 token，这是首次大规模实际部署如此速度。