标签
本文提出了一种多样性感知的分层评分方法，用于大型语言模型中的KV缓存驱逐，通过整合注意力分散和冗余性来提升LongBench数据集上的性能。
LaRA是一个逐层表示分析框架，通过测量模型各层的几何偏差来检测RL后训练LLM中的数据污染，优于输出级基线。
介绍Geometry-Lite，一种紧凑型探针，通过分析逐层边际几何来解读大语言模型各层中安全证据的形成方式，在保持可解释性的同时优于单层探针。