LiquidAI/LFM2.5-ColBERT-350M

Hugging Face Models Trending 模型

摘要

LiquidAI 发布 LFM2.5-ColBERT-350M,这是一种后期交互多语言检索模型,同时还有一个密集双编码器变体,两者均基于 LFM2.5-350M-Base,支持 11 种语言,并设计为 RAG 管道的即插即用替代品。

Task: 句子相似度 Tags: PyLate, safetensors, lfm2, liquid, lfm2.5, 边缘, ColBERT, sentence-transformers, 句子相似度, 特征提取, 自定义代码, en, es, de, fr, it, pt, ar, sv, no, ja, ko, arxiv:2511.23404, 基模型:LiquidAI/LFM2.5-350M-Base, 基模型:微调:LiquidAI/LFM2.5-350M-Base, 许可证:其他, 地区:美国
查看原文
查看缓存全文

缓存时间: 2026/06/22 13:32

LiquidAI/LFM2.5-ColBERT-350M · Hugging Face

来源:https://huggingface.co/LiquidAI/LFM2.5-ColBERT-350M Liquid AI

我们发布了两个新的同类最佳多语言检索模型:

  • LFM2.5-Embedding-350M (https://huggingface.co/LiquidAI/LFM2.5-Embedding-350M) — 一个密集双编码器,每个文档一个向量。最小、最快的索引。
  • LFM2.5-ColBERT-350M — 一个延迟交互模型。每个token一个向量,通过MaxSim匹配。索引大小更大,但精度更高、泛化能力更强。

两个模型均为350M参数,是LFM家族中首批双向成员,基于LFM2.5-350M-Base (https://huggingface.co/LiquidAI/LFM2.5-350M-Base) 构建。它们可以作为当前RAG管线的即插即用替代,目标是实现跨11种语言的快速、廉价且可靠的多语言/跨语言搜索。

更多关于双向架构和训练方法的详细信息,请查看我们的博客文章 (https://www.liquid.ai/blog/lfm2-5-retrievers)。

💻 演示:https://huggingface.co/spaces/LiquidAI/colbert-tool-selection

colbert

📄 模型详情

属性LFM2.5-ColBERT-350MLFM2.5-Embedding-350M (https://huggingface.co/LiquidAI/LFM2.5-Embedding-350M)
类型延迟交互(每token向量)密集双编码器(单向量)
总参数量~353M~354M
骨干网络LFM2.5-350M-Base (https://huggingface.co/LiquidAI/LFM2.5-350M-Base) + 双向补丁LFM2.5-350M-Base (https://huggingface.co/LiquidAI/LFM2.5-350M-Base) + 双向补丁
层数17(10卷积 + 6注意力 + 1密集)17(10卷积 + 6注意力 + 1池化)
词表大小64,40265,536
输出每token 128维1024维CLS向量
相似度MaxSim余弦
训练精度BF16BF16
许可证LFM开放许可证 v1.0LFM开放许可证 v1.0

文档长度: 512 tokens

查询长度: 32 tokens

支持语言: 英语、西班牙语、德语、法语、意大利语、葡萄牙语、阿拉伯语、瑞典语、挪威语、日语、韩语。

架构:

ColBERT(
  (0): Transformer({'max_seq_length': 511, 'do_lower_case': False}) with Transformer model: Lfm2BidirectionalModel
  (1): Dense({'in_features': 1024, 'out_features': 128, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
)

我们推荐将LFM2.5-Embedding-350M和LFM2.5-ColBERT-350M用于短上下文检索场景,例如:

  • 电商:通过大规模语义搜索跨语言查找产品。
  • FAQ与支持知识库:在面向客户的界面上可靠地检索正确答案。
  • 设备端语义搜索:在消费级硬件上本地搜索文件、邮件和笔记。
  • 企业知识助手:跨语言检索内部法律、财务和技术文档。

🏃 如何运行

Colab链接 (https://colab.research.google.com/drive/1uLswYrRTNw4P2P2qZ8JG-b8j-KDkQqwL?usp=sharing)

首先,安装PyLate和transformers库:

pip install -U pylate

检索

使用此模型配合PyLate进行文档索引和检索。索引使用FastPLAID (https://github.com/lightonai/fast-plaid) 实现高效相似性搜索。

索引文档

加载LFM2.5-ColBERT-350M并初始化PLAID索引,然后编码并索引你的文档:

from pylate import indexes, models, retrieve

# 步骤1:加载ColBERT模型(trust_remote_code应用双向补丁)
model = models.ColBERT(
    model_name_or_path="LiquidAI/LFM2.5-ColBERT-350M",
    trust_remote_code=True,
)
model.tokenizer.pad_token = model.tokenizer.eos_token

# 步骤2:初始化PLAID索引
index = indexes.PLAID(
    index_folder="pylate-index",
    index_name="index",
    override=True,  # 覆盖现有索引(如有)
)

# 步骤3:编码文档
documents_ids = ["1", "2", "3"]
documents = ["document 1 text", "document 2 text", "document 3 text"]

documents_embeddings = model.encode(
    documents,
    batch_size=32,
    is_query=False,  # 确保设为False以表示这些是文档
    show_progress_bar=True,
)

# 步骤4:通过提供嵌入和对应ID将文档嵌入添加到索引
index.add_documents(
    documents_ids=documents_ids,
    documents_embeddings=documents_embeddings,
)

注意:不必每次都重新创建索引并编码文档。创建索引并添加文档后,可以在以后加载并使用该索引:

# 加载索引,只需使用正确的文件夹/名称实例化,不要覆盖
index = indexes.PLAID(
    index_folder="pylate-index",
    index_name="index",
)

为查询检索top-k文档

文档索引后,你可以为给定的一组查询检索最相关的top-k个文档。为此,使用要搜索的索引初始化ColBERT检索器,编码查询,然后检索top-k个文档以获取最佳匹配的ID和相关性分数:

# 步骤1:初始化ColBERT检索器
retriever = retrieve.ColBERT(index=index)

# 步骤2:编码查询
queries_embeddings = model.encode(
    ["query for document 3", "query for document 1"],
    batch_size=32,
    is_query=True,  # 确保设为True以表示这些是查询
    show_progress_bar=True,
)

# 步骤3:检索top-k文档
scores = retriever.retrieve(
    queries_embeddings=queries_embeddings,
    k=10,  # 为每个查询检索前10个匹配项
)

重排序

如果你只想使用LFM2.5-ColBERT-350M在第一阶段检索管线上进行重排序而不构建索引,只需使用rank函数并传递查询和文档进行重排序:

from pylate import rank, models

queries = [
    "query A",
    "query B",
]

documents = [
    ["document A", "document B"],
    ["document 1", "document C", "document B"],
]

documents_ids = [
    [1, 2],
    [1, 3, 2],
]

model = models.ColBERT(
    model_name_or_path="LiquidAI/LFM2.5-ColBERT-350M",
    trust_remote_code=True,
)

queries_embeddings = model.encode(
    queries,
    is_query=True,
)

documents_embeddings = model.encode(
    documents,
    is_query=False,
)

reranked_documents = rank.rerank(
    documents_ids=documents_ids,
    queries_embeddings=queries_embeddings,
    documents_embeddings=documents_embeddings,
)

📈 性能

我们突出显示(粗体)每种语言的最佳双编码器和最佳延迟检索器。

NanoBEIR多语言扩展 — NDCG@10

LiquidAI/nanobeir-multilingual-extended (https://huggingface.co/datasets/LiquidAI/nanobeir-multilingual-extended)。多语言检索能力。

模型类型AVGardeenesfritjakonoptsv
LiquidAI/LFM2.5-ColBERT-350Mlate0.6050.5510.6060.6870.6070.6220.6060.6140.5900.5700.6130.586
LiquidAI/LFM2.5-Embedding-350Mdense0.5770.5290.5810.6440.5810.5920.5830.5750.5630.5570.5810.566
Qwen/Qwen3-Embedding-0.6Bdense0.5560.5140.5600.6490.5680.5650.5650.5510.5300.5160.5710.525
LiquidAI/LFM2-ColBERT-350Mlate0.5400.4910.5630.6610.5630.5640.5430.5570.5270.4490.5470.480
Alibaba-NLP/gte-multilingual-basedense0.5280.4770.5230.6240.5370.5420.5280.5110.4940.5160.5340.526
lightonai/GTE-ModernColBERT-v1late0.4890.3090.4990.6800.5250.5460.5160.4590.3680.4650.5300.483
lightonai/LateOnlate0.4840.3070.5050.6900.5310.5370.5140.4420.3260.4650.5330.475
lightonai/DenseOndense0.4320.1780.4740.6760.4960.5200.4870.3780.1970.4220.4930.433
Alibaba-NLP/gte-modernbert-basedense0.3830.1120.4490.6660.4480.4750.4080.2750.1800.3760.4310.391
BAAI/bge-large-en-v1.5dense0.3590.0590.4190.6420.4450.4750.4310.1980.1320.3580.4340.353

MKQA-11 — Recall@20

MKQA (https://github.com/apple/ml-mkqa)。跨语言能力(我们目标11种语言的子集)。

模型类型AVGardeenesfritjakonoptsv
LiquidAI/LFM2.5-ColBERT-350Mlate0.6940.6080.7090.7480.7110.7150.7070.7030.6400.6890.7030.700
LiquidAI/LFM2.5-Embedding-350Mdense0.6910.6100.7090.7380.7080.7150.7030.6850.6300.6910.7100.708
Alibaba-NLP/gte-multilingual-basedense0.6750.5670.6920.7410.7050.7030.6970.6550.5630.6980.7000.699
LiquidAI/LFM2-ColBERT-350Mlate0.6460.5540.6960.7540.7110.7100.6670.6580.5580.5410.6690.589
Qwen/Qwen3-Embedding-0.6Bdense0.6380.5200.6710.7230.6780.6720.6710.6350.5430.6200.6670.620
lightonai/GTE-ModernColBERT-v1late0.4590.0920.5320.7540.5520.6150.5100.2750.1660.5030.5240.524
lightonai/LateOnlate0.4540.1570.4920.7550.5370.5770.4810.3160.2090.4720.5020.501
lightonai/DenseOndense0.4350.1650.4820.7510.4910.5530.4570.3250.2220.4380.4430.453
BAAI/bge-large-en-v1.5dense0.4130.1330.4710.7480.4500.5310.4610.2080.1720.4560.4430.467
Alibaba-NLP/gte-modernbert-basedense0.2950.0600.3330.7360.2730.4170.2910.1000.0520.3320.3260.330

推理速度 — llama.cpp

在MacBook Pro M4 Max上通过llama.cpp使用fp16的端到端延迟,测量32-token查询和256-token文档。Docs cached表示文档嵌入已预先计算并从索引中查找。

模型阶段文档缓存p50p95
LFM2.5-Embedding-350M查询嵌入是7.3 ms9.6 ms
LFM2.5-ColBERT-350M查询嵌入是8.1 ms8.5 ms
LFM2.5-ColBERT-350M查询嵌入 + MaxSim是8.2 ms15.2 ms
LFM2.5-ColBERT-350M查询嵌入 + 文档嵌入 + MaxSim否34.3 ms36.3 ms

两个模型LiquidAI/LFM2.5-ColBERT-350M-GGUF (https://huggingface.co/LiquidAI/LFM2.5-ColBERT-350M-GGUF/) 和 LiquidAI/LFM2.5-Embedding-350M-GGUF (https://huggingface.co/LiquidAI/LFM2.5-Embedding-350M-GGUF/) 已在Hugging Face上以不同的量化方案提供,适用于llama.cpp。

推理速度 — 企业级GPU

对于大规模生产级企业部署,我们还使用内部GPU堆栈进行实验,以在高负载下提供极低延迟的服务。我们观察到延迟低至1毫秒。

GPU serving latency

工作负载设置p50p95p99
LFM2.5-Embedding-350M查询嵌入1.5 ms1.6 ms1.7 ms
LFM2.5-ColBERT-350M查询嵌入1.3 ms1.4 ms1.5 ms
LFM2.5-ColBERT-350M查询嵌入 + MaxSim2.5 ms2.7 ms2.8 ms
LFM2.5-ColBERT-350M查询嵌入 + 文档嵌入 + MaxSim22.8 ms24.1 ms26.4 ms

📬 联系我们

  • 有问题或想联系?加入我们的Discord社区 (https://discord.com/invite/liquid-ai)。
  • 如果您对边缘部署的定制解决方案感兴趣,请联系我们的销售团队 (https://www.liquid.ai/contact)。

引用

@article{liquidai2025lfm2,
  title={LFM2 Technical Report},
  author={Liquid AI},
  journal={arXiv preprint arXiv:2511.23404},
  year={2025}
}
@misc{PyLate,
  title={PyLate: Flexible Training and Retrieval for Late Interaction Models},
  author={Chaffin, Antoine and Sourty, Raphaël},
  url={https://github.com/lightonai/pylate},
  year={2024}
}

相似文章

LiquidAI/LFM2.5-Embedding-350M

Hugging Face Models Trending

Liquid AI 发布了 LFM2.5-Embedding-350M,这是一种密集双编码器,用于多语言检索,支持11种语言,可作为 RAG 流水线的直接替代方案。

LiquidAI/LFM2.5-Encoder-350M

Hugging Face Models Trending

Liquid AI releases LFM2.5-Encoder-350M, a multilingual bidirectional encoder built on the LFM2 architecture, offering strong quality for its size, 8k context, and efficient on-device performance across 15 languages.

LiquidAI/LFM2.5-VL-3B · Hugging Face

Reddit r/LocalLLaMA

LiquidAI releases LFM2.5-VL-3B, a 3B multimodal model for on-device deployment with improved OCR, grounding, and efficient inference, available in multiple formats including GGUF, ONNX, and MLX.