structural-attention-tax

标签

Cards List
#structural-attention-tax

结构注意力税:检索格式如何独立于内容劫持上下文学习

arXiv cs.CL · 5天前 缓存

本文识别并形式化了'结构注意力税'现象,即检索内容的格式(例如知识图谱三元组)独立于语义相关性扭曲了LLM的注意力分布,导致演示注意力压缩。它提供了正式框架、跨模型和基准的实证证据,并提出了结构感知的缓解策略。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈