pooling

介绍PoolBench，一个在仅解码器LLM概念表示中隔离池化策略的基准，跨17个概念和3个模型评估19种策略，为比较池化选择提供标准化协议。

本文介绍了黎曼均值池化（RMP），该方法通过拉回度量利用黎曼几何聚合预训练语言模型的词元嵌入，在句子分类任务上表现出优于欧氏池化的性能。

本文识别了学习动力学模型中的'时间信用稀释'现象，其中全局读出关注的是虚假相关性而非短暂的物理事件。它提出了CREST，一种无需训练的方法，通过事件核心估计重新锚定池化表示，提高了分布外鲁棒性。