标签
Periscope 提出一种无需训练的推理方法，将文本块排列在 K×K 网格上，并让冻结的语言模型针对局部跨度与跨步跨度进行查询，从而在上下文窗口之外恢复答案。在 LongBench v2 和 InfiniteBench 上，该方法以远低于全窗口读取的成本达到甚至超越全窗口读取的效果。借助将长文本读取替换为证据图，一个 27B 模型可在单张 80GB GPU 上读取 450 万 token 的上下文。
本文诊断了全模态LLM中的感知-决策失调问题，并提出了一种名为模态子空间激活的无训练推理时框架，通过动态平衡模态强度来缓解这一问题。
本文提出了正负解码（PND），这是一种无需训练的推理框架，通过在解码过程中对比正向视觉证据与负向反事实来减少视觉-语言模型中的对象幻觉。