attention-interference

#attention-interference

Context Poisoning 作为长上下文语言模型中的极端值注意力干扰

arXiv cs.CL ↗ · 昨天缓存

本文引入'context poisoning'作为一种现象，即注意力干扰导致长上下文语言模型性能下降，并推导出边界，表明证据边际必须随干扰项数量的对数缩放，同时提出证据瓶颈等缓解方法。

0 人收藏 0 人点赞