标签
本文通过因果度量上下文利用率，识别出RAG评估指标中的缺陷，证明狭窄的顺序上下文比宽广上下文提高召回率，并引入子模调度器进行优化分配。
本文介绍了Asymmetric Attention Heads (AAH)，一个为transformer中的注意力头分配不同上下文窗口的框架，实验表明语言建模性能得到提升。