weince

该论文指出了基于softmax的InfoNCE损失与现代对比学习中的归一化嵌入设置之间的不一致性。它提出了WEINCE，一种简单的修改，利用极值理论将softmax logits与端点短缺校正相结合，在视觉基准测试中取得了持续的改进。