runtime-termination

本文提出ART，一种轻量级的运行时机制，它在LLM解码过程中追踪累积的注意力输出，并在进一步贡献变得微不足道时终止不必要的KV块访问，从而在保持相当精度的同时实现20%更高的生成吞吐量。