@raphaelsrty：在GPU上计算最大相似度（ColBERT、ColPali的评分步骤）可以被优化，这正是@tonywu_71所做的。我……

X AI KOLs Following 工具
multi-vector-models colbert colpali maximum-similarity triton-kernels pylate gpu-optimization

摘要

Tony Wu发布了late-interaction-kernels (LIK)：用于MaxSim的融合Triton内核，MaxSim是ColBERT和ColPali背后的评分步骤，已集成到PyLate和colpali-engine中，提供了内存效率和性能提升。

在GPU上计算最大相似度（ColBERT、ColPali的评分步骤）可以被优化，这正是@tonywu_71所做的。 现在它在PyLate中可用，它将加速多向量模型的训练和推理。 pip install "pylate[lik]" 太酷了，来自@tonywu_71和@Aurelien_L_
查看原文
查看缓存全文

缓存时间: 2026/06/10 15:54

在GPU上计算最大相似度（ColBERT、ColPali的评分步骤）是可以优化的，而@tonywu_71正是这么做的。
该优化功能现已集成到PyLate中，将加速多向量模型的训练和推理。

pip install “pylate[lik]”

太棒了，来自@tonywu_71 和 @Aurelien_L_

Tony Wu (@tonywu_71)：
非常激动地发布 late-interaction-kernels（LIK）：为MaxSim（ColBERT、ColPali和LateOn背后的评分步骤）融合编写的Triton内核。🚀

在内存占用极低的条件下，数值精度与PyTorch完全一致，并已在PyLate和colpali-engine中得到首发支持。（1/N 🧵）

相似文章