标签
ReContext 是一种新的免训练推理方法,通过利用模型内部的相关性信号构建查询条件化的证据池,并在最终生成前重放该证据池,从而改进长上下文推理。在 Qwen3 和 Llama3 模型的八个 128K 上下文数据集上取得了最佳平均排名。
本文提出了一种四条件诊断协议,用于分离长上下文和检索增强语言模型中的无证据可答性、神谕证据可恢复性、全上下文利用以及检索条件利用,并在多个数据集上对五种开源权重模型进行了测试。