time-to-first-token

EarlyTom是一个无需训练即可在视觉编码器早期压缩视觉token的框架，可减少首个token生成时间和计算成本，同时保持准确性，实现高达2.65倍的TTFT降低。