标签
本文介绍了SemanticSeg，一个用于长文本语义分割的大规模数据集，以及块蒸馏（block distillation）训练框架，该框架使块注意力模型能够接近全注意力性能，从而在RAG和长上下文场景中改善KV缓存复用。