标签
本文解释了 LLM 响应速度的两个关键指标：与预填充相关的时间到第一个 Token（TTFT），以及与解码相关的 Token 间延迟（ITL），影响响应性和流畅度。
一篇论文提出了一种延迟感知的LLM查询路由器，通过轻量级延迟估计器联合优化延迟、准确性和成本，在保持可比延迟的同时，准确率-成本效用提升高达40%。
EarlyTom是一个无需训练即可在视觉编码器早期压缩视觉token的框架，可减少首个token生成时间和计算成本，同时保持准确性，实现高达2.65倍的TTFT降低。