LiquidAI/LFM2.5-Embedding-350M · Hugging Face

来源：https://huggingface.co/LiquidAI/LFM2.5-Embedding-350M Liquid AI

我们发布了两个新的同类最佳多语言检索模型：

• LFM2.5-Embedding-350M — 一个密集双编码器，每个文档一个向量。索引最小、速度最快。
• LFM2.5-ColBERT-350M (https://huggingface.co/LiquidAI/LFM2.5-ColBERT-350M) — 一个延迟交互模型。每个token一个向量，通过 MaxSim 匹配。准确率更高、泛化能力更强，但索引规模更大。

两个模型均为 3.5 亿参数，是 LFM 家族首批双向成员，基于 LFM2.5-350M-Base (https://huggingface.co/LiquidAI/LFM2.5-350M-Base) 构建。它们可作为您现有 RAG 管道的即插即用替代，面向 11 种语言实现快速、低成本且可靠的多语言/跨语言搜索。

关于双向架构和训练方法的更多细节，请参见我们的博文 (https://www.liquid.ai/blog/lfm2-5-retrievers)。

bienc (https://cdn-uploads.huggingface.co/production/uploads/63f389fda096536aeaae0a66/LjpFnq59BbuhKLVTExtcU.png)

https://huggingface.co/LiquidAI/LFM2.5-Embedding-350M#%F0%9F%93%84-model-details📄 模型详情

文档长度： 512 tokens

支持语言： 英语、西班牙语、德语、法语、意大利语、葡萄牙语、阿拉伯语、瑞典语、挪威语、日语、韩语。

架构：

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: Lfm2BidirectionalModel
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False})
)

非对称提示词： 查询用 query:，段落用 document:。它们存储在模型配置中，通过 prompt_name 自动应用。

我们推荐 LFM2.5-Embedding-350M 和 LFM2.5-ColBERT-350M 用于短上下文检索场景，例如：

• 电子商务：通过大规模语义搜索，跨多种语言查找商品。
• FAQ 和知识库支持：在面向客户的界面中可靠地检索正确答案。
• 设备端语义搜索：在消费级硬件上本地搜索文件、邮件和笔记。
• 企业知识助手：跨语言检索内部法律、金融和技术文档。

https://huggingface.co/LiquidAI/LFM2.5-Embedding-350M#%F0%9F%8F%83-how-to-run🏃 如何运行

首先，安装 sentence-transformers：

pip install -U sentence-transformers

https://huggingface.co/LiquidAI/LFM2.5-Embedding-350M#encoding-queries-and-documents编码查询和文档

加载 LFM2.5-Embedding-350M，分别编码查询和文档，每侧使用匹配的提示词名称。余弦相似度（或归一化点积）对文档进行排序：

from sentence_transformers import SentenceTransformer

# 加载模型（trust_remote_code 应用双向补丁）
model = SentenceTransformer(
    "LiquidAI/LFM2.5-Embedding-350M",
    trust_remote_code=True,
)

queries = [
    "What is the capital of France?",
    "Which city is Japan's capital?",
]
documents = [
    "Paris is the capital and largest city of France. Located on the Seine River in northern France, it serves as the country's political, economic, and cultural center.",
    "Tokyo, officially the Tokyo Metropolis, is the capital of Japan. It is the most populous metropolitan area in the world and serves as Japan's administrative, financial, and commercial hub.",
    "Berlin is the capital and largest city of Germany. Reunified in 1990 after the fall of the Berlin Wall, it now serves as a major cultural and political center in Europe.",
]

# 使用匹配的提示词名称进行编码；归一化后点积等于余弦相似度
q_emb = model.encode(queries,   prompt_name="query",    normalize_embeddings=True)
d_emb = model.encode(documents, prompt_name="document", normalize_embeddings=True)

scores = q_emb @ d_emb.T  # 形状: (n_queries, n_documents)

始终为查询传递 prompt_name="query"，为段落传递 prompt_name="document"——模型是用这些前缀训练的，省略它们会无声地降低检索质量。

https://huggingface.co/LiquidAI/LFM2.5-Embedding-350M#flash-attention-2-optionalFlash Attention 2（可选）

LFM2.5-Embedding-350M 可配合 FlashAttention-2 运行（需要安装 flash-attn）：

import torch
from sentence_transformers import SentenceTransformer

model = SentenceTransformer(
    "LiquidAI/LFM2.5-Embedding-350M",
    trust_remote_code=True,
    model_kwargs={"attn_implementation": "flash_attention_2", "dtype": torch.bfloat16},
)

经验证，在 bf16 噪声范围内与默认实现等价（多语言 NanoBEIR ndcg@10 在 11 种语言间差异小于 0.002）。在模型 512 token 最大长度下，速度提升较小（约 5%）；如果对骨干网络进行微调或运行更长上下文，FA2 主要有助于显存和吞吐量。

https://huggingface.co/LiquidAI/LFM2.5-Embedding-350M#fine-tuning微调

标准的 sentence-transformers 训练可直接使用。例如使用 MultipleNegativesRankingLoss：

from datasets import Dataset
from sentence_transformers import (
    SentenceTransformer,
    SentenceTransformerTrainer,
    SentenceTransformerTrainingArguments,
)
from sentence_transformers.losses import MultipleNegativesRankingLoss

model = SentenceTransformer("LiquidAI/LFM2.5-Embedding-350M", trust_remote_code=True)
loss = MultipleNegativesRankingLoss(model)

train_ds = Dataset.from_dict({
    "query":    [...],
    "positive": [...],
    # 可选: "negative": [...],
})

args = SentenceTransformerTrainingArguments(
    output_dir="out",
    num_train_epochs=1,
    per_device_train_batch_size=64,
    learning_rate=2e-5,
    warmup_ratio=0.1,
    bf16=True,
    prompts={"query": "query: ", "positive": "document: "},
)

trainer = SentenceTransformerTrainer(model=model, args=args, train_dataset=train_ds, loss=loss)
trainer.train()

注意事项：

• 训练时始终传递非对称提示词（模型是用它们训练的）。
• 对于更大有效批量而不出现 OOM，可将 MultipleNegativesRankingLoss 替换为 CachedMultipleNegativesRankingLoss。
• 使用 model.save_pretrained(...) 保存；建模文件和 auto_map 会保留，使得补丁行为在重新加载后依然生效。

https://huggingface.co/LiquidAI/LFM2.5-Embedding-350M#%F0%9F%93%88-performance📈 性能

我们在每项指标上以粗体标示最佳的双编码器和最佳的延迟检索模型。

https://huggingface.co/LiquidAI/LFM2.5-Embedding-350M#nanobeir-multilingual-extended–ndcg10NanoBEIR Multilingual Extended — NDCG@10

LiquidAI/nanobeir-multilingual-extended (https://huggingface.co/datasets/LiquidAI/nanobeir-multilingual-extended)。多语言检索能力。

https://huggingface.co/LiquidAI/LFM2.5-Embedding-350M#mkqa-11–recall20MKQA-11 — Recall@20

MKQA (https://github.com/apple/ml-mkqa)。跨语言能力（我们目标语言子集）。

https://huggingface.co/LiquidAI/LFM2.5-Embedding-350M#inference-speed—llamacpp推理速度 — llama.cpp

在MacBook Pro M4 Max上通过llama.cpp以fp16测量端到端延迟，32 token 查询和256 token 文档。Docs cached表示文档嵌入已预计算并从索引中查找。

两个模型 LiquiAI/LFM2.5-ColBERT-350M-GGUF (https://huggingface.co/LiquidAI/LFM2.5-ColBERT-350M-GGUF/) 和 LiquidAI/LFM2.5-Embedding-350M-GGUF (https://huggingface.co/LiquidAI/LFM2.5-Embedding-350M-GGUF/) 均提供不同量化架构的 Hugging Face 版本，用于 llama.cpp。

https://huggingface.co/LiquidAI/LFM2.5-Embedding-350M#inference-speed—enterprise-gpu推理速度 — 企业级 GPU

对于大规模生产级企业部署，我们还使用内部 GPU 栈进行实验，以在高并发负载下实现极低延迟服务。我们观察到低至 1 ms 的延迟。

GPU 服务延迟 (https://cdn-uploads.huggingface.co/production/uploads/63f389fda096536aeaae0a66/WTdmKJ2LpG07-iAqXYGDe.png)

https://huggingface.co/LiquidAI/LFM2.5-Embedding-350M#%F0%9F%93%AC-contact📬 联系方式

• 有问题或想联系？加入我们的 Discord 社区 (https://discord.com/invite/liquid-ai)。
• 如果您对边缘部署的定制解决方案感兴趣，请联系我们的销售团队 (https://www.liquid.ai/contact)。

https://huggingface.co/LiquidAI/LFM2.5-Embedding-350M#citation引用

@article{liquidai2025lfm2,
  title={LFM2 Technical Report},
  author={Liquid AI},
  journal={arXiv preprint arXiv:2511.23404},
  year={2025}
}