@AmelieTabatta: ColBERT 模型继续让体积为其 54 倍的模型颜面扫地,这就是我们信任 Late Interaction @LightOnIO 的原因。一条 1 年…
摘要
本文强调了 ColBERT 模型如何凭借延迟交互(late interaction)技术和极少微调,尽管体积更小且发布时间更早,仍优于 Qwen3-embed-8B 等更大规模的模型。
查看缓存全文
缓存时间: 2026/05/13 00:33
ColBERT 模型继续让体积为其 54 倍的模型颜面尽失 😎,这就是我们信任晚期交互(late interaction)@LightOnIO 的原因。 一年前发布的 ColBERT + 5 分钟微调 = 一个配合 gpt-oss-120B 使用时,性能超越 qwen3-embed-8B + gpt-5 的模型。@antoine_chaffin 总是让这一切看起来毫不费力。
相似文章
天啊,我几乎忘了在做ColBERT相关工作时得到令人垂涎的结果是多么即时 - @antoine_chaffi…
作者表达了对ColBERT模型在机器学习中提供即时高质量结果的兴奋,并暗示即将发布开源模型,展示了晚期交互技术在没有存储开销下的效率。
@antoine_chaffin: Reason-ModernColBERT 几乎完美解决了 BrowseComp-Plus,碾压 SOTA,并超越了 54 倍大的模型。还不错吧…
Reason-ModernColBERT 在 BrowseComp-Plus 上取得了近乎完美的结果,超越了 SOTA 和 54 倍大的模型,随后 Agent-ModernColBERT 通过极少的训练进一步提升了性能。
@antoine_chaffin: 虽然只是BEIR,但v2与LateOn之间相差近10分。我们也有充分证据表明该模型的泛化能力……
LateOn作为新一代ColBERT模型,在BEIR上相比v2提升了近10个百分点,并且在BEIR之外也表现出良好的泛化能力,同时在PyLate中的使用方法完全相同。
@bo_wangbo: 好吧,也许这是个好时机?我们在pplx训练了一个小型colbert模型,它是对pplx-embed-0.6的继续训练…
Perplexity AI发布了pplx-embed-v1-late-0.6b,一个用于检索的小型ColBERT后期交互嵌入模型,基于他们现有的嵌入模型微调并针对MaxSim评分进行了优化,现已在HuggingFace上开源。
@lateinteraction:对于某些晚期交互来说,永远都不会太晚——太酷了 @sirupsen @turbopuffer!
Turbopuffer 宣布对晚期交互(late interaction)的 beta 支持,使 ColBERT 等模型能够将文本表示为 token 级向量,将快速的单向量 ANN 初步搜索与精确的晚期交互重排序相结合,以提高召回率。