标签
SeDeM 是一种选择性解压缩框架,它将长上下文的隐状态存储在紧凑的记忆库中,并且仅解压缩与查询相关的块以用于解码器条件化,从而在压缩基线之上提高了问答准确率和效率。
ReFact提出了一种自适应的事实重述引用框架,训练大语言模型自主决定推理步骤何时需要上下文支撑,从而在减少令牌消耗的同时提升思维链推理的忠实度和紧凑性。