streaming-llms

ProactiveLLM 提出了一种方法，使流式大语言模型能够基于内源性线索主动决定何时生成输出，通过基于掩码的流式建模和同步特权自蒸馏，在无需外部标注的情况下降低延迟。