time-to-first-token

一篇论文提出了一种延迟感知的LLM查询路由器，通过轻量级延迟估计器联合优化延迟、准确性和成本，在保持可比延迟的同时，准确率-成本效用提升高达40%。

EarlyTom是一个无需训练即可在视觉编码器早期压缩视觉token的框架，可减少首个token生成时间和计算成本，同时保持准确性，实现高达2.65倍的TTFT降低。