标签
介绍了一种使用紧凑型HyperLogLog草图的模型端聚合接口，用于为长上下文语言模型维护基于集合的聚合状态，在基准测试任务上实现了99.2%的准确率，并消除了外部执行循环的需求。
DLA引入了自适应状态合并和容量受限的内存建模，用于多状态线性注意力，提升了长上下文LLM的性能。