标签
vLLM 宣布通过其 V1 连接器接口集成 TileRT 的解码引擎，允许用户将 vLLM 预填充与专为低延迟优化的解码引擎配对，适用于智能体和实时助手等工作负载，且无需对 vLLM 做任何修改。
Kog 开源了 Laneformer 2B 模型，这是一个 23 亿参数、经过指令调优的编码模型，专为高速解码设计。通过从架构阶段优先考虑延迟，实现了每秒超过 3000 个 token 的生成速度。