使用 LFM2.5-24B-A2B 在设备上运行快速、私密的智能体

来源：https://huggingface.co/blog/LiquidAI/lfm25-24b-a2b

LFM2.5-24B-A2B（https://huggingface.co/LiquidAI/LFM2.5-24B-A2B）是一款拥有 24B 参数、但每个 token 仅激活 2B 参数的推理模型，专为设备上快速、私密的智能体场景打造。它在回答之前会先进行思考，支持工具调用，并能在主流智能体框架内完成多步骤任务。由于每个 token 仅激活 2B 参数，每次推理 token 的计算成本都很低，因此你可以在自己的硬件上持续运行智能体。

• **最佳智能体能力：**在智能体和工具使用任务上与 Qwen3.6-35B-A3B（总参数和激活参数均多出约 50%）竞争，在 LiveClaw 上得分 48.09，而 Qwen3.6-35B-A3B 得分为 38.19。
• **MoE 速度的推理能力：**始终先思考后回答。每个 token 仅激活 2B 参数，每次推理 token 的成本都很低。
• **高效推理：**在 Apple M5 Max 上达到 184 tok/s，在单块 NVIDIA B300 GPU 上输出速度最高可达 21K tok/s。

LFM2.5-24B-A2B-benchmark（https://huggingface.co/LiquidAI/LFM2.5-24B-A2B/resolve/main/figures/LFM2.5-24B-A2B-benchmark.png）

我们如何用 2B 激活参数构建推理智能体

LFM2.5-24B-A2B 基于 LFM2-24B-A2B（https://huggingface.co/LiquidAI/LFM2-24B-A2B）构建，并保留了其架构：40 层、每个 MoE 模块 64 个专家配合 top-4 路由，以及门控短卷积与 GQA 的混合结构。上下文窗口从 32K 扩展到 131K token，同时通过就地分词器扩展（https://www.liquid.ai/blog/tokenizer-expansion）将词表从 65K 扩大到 128K token，以改善非拉丁语系的分词效果。与前代不同，它是一个纯推理模型，会在给出最终答案前生成显式的思维链。

预训练规模从约 17T token 扩大到约 33T token。中期训练阶段在 32K 上下文下额外加入 2T token，侧重推理、数学、代码、指令遵循和多语言文本；在 131K 上下文下加入 300B token，侧重长上下文数据。工具调用和多轮轨迹数据贯穿这两个阶段。后训练阶段通过五个步骤将基础模型转化为智能体：

1. 监督微调（SFT）
2. 教师模型专门化
3. **多领域在线策略蒸馏（MOPD，非智能体任务）：**在非智能体任务上对专门化的教师模型进行蒸馏。
4. **MOPD，智能体任务：**第二个蒸馏阶段，专注于智能体任务。
5. **智能体强化学习（Agentic RL）：**在 OpenClaw（https://openclaw.ai/）、Hermes Agent（https://hermes-agent.nousresearch.com/）、Pi（https://pi.dev/）和 OpenCode（https://opencode.ai/）等智能体框架内进行训练。

LFM2.5-24B-A2B-Training-Recipe（https://huggingface.co/LiquidAI/LFM2.5-24B-A2B/resolve/main/figures/LFM2.5-24B-A2B-Training-Recipe.png）

基准测试结果

我们在 16 项基准测试上对 LFM2.5-24B-A2B 与 Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it 和 Nemotron-3.5-Lightning 进行了评估，涵盖工具使用和智能体工作流、知识、指令遵循、数学和编码。LFM2.5-24B-A2B 是这组模型中最小的，但与总参数和激活参数均多出约 50% 的 MoE 模型相比仍具有竞争力。

*所有模型均使用 vLLM 进行评估，采用各基准测试推荐的生成参数。

对于你的应用来说，它的优势在于工具使用和指令遵循。在八项工具使用和智能体基准测试中，LFM2.5-24B-A2B 在五项（AutomationBench、BFCLv4、ToolSandbox、LiveClaw 和 τ3-Bench Banking）上领先或持平竞争对手，在 AutomationBench 上的得分是第二名的三倍以上。它在所有三项指令遵循基准测试上均领先。更大的模型在知识密集型基准测试（如 GPQA Diamond、HLE 和 AA-Omniscience）以及编码基准测试（如 SWE-Bench Verified (OpenCode) 和 SciCode）上仍有优势，因此在知识密集型工作负载中建议将 LFM2.5-24B-A2B 与检索或网络搜索配合使用。

这些结果使 LFM2.5-24B-A2B 成为需要推理、调用工具并在你的设备上可靠运行的智能体的坚实基础。

CPU 和 GPU 上的推理速度

LFM2.5-24B-A2B 在发布首日即获得推理生态系统的全面支持，包括 llama.cpp、MLX、vLLM、SGLang 和 ONNX。

边缘推理。 LFM2.5-24B-A2B 是所比较的 MoE 模型中最快的，在 M5 Max 上解码速度达 184 tok/s，在 Ryzen AI Max+ 395 上达 114 tok/s。比第二名模型快至多 1.7 倍，同时内存占用最少。

LFM2.5-24B-A2B-edge-inference（https://huggingface.co/LiquidAI/LFM2.5-24B-A2B/resolve/main/figures/LFM2.5-24B-A2B-edge-inference.png）

GPU 推理。 LFM2.5-24B-A2B 是同级别中最快的模型，在单块 B300 GPU 上高并发场景下输出速度超过 21K tok/s。

LFM2.5-24B-A2B-gpu-inference（https://huggingface.co/LiquidAI/LFM2.5-24B-A2B/resolve/main/figures/LFM2.5-24B-A2B-gpu-inference.png）

如何使用 LFM2.5-24B-A2B

当你需要能够推理、调用工具并在你的设备上可靠运行的智能体时，就使用 LFM2.5-24B-A2B。

安装最新版本的 transformers（兼容 transformers>=5.0.0）：

pip install -U transformers

然后加载并运行模型：

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

model_id = "LiquidAI/LFM2.5-24B-A2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    dtype="bfloat16",
#   attn_implementation="flash_attention_2"  # <- 在兼容的 GPU 上取消注释
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

prompt = "What is C. elegans?"

input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
)["input_ids"].to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.05,
    max_new_tokens=512,
    streamer=streamer,
)

在你的智能体框架中使用

在本地通过任何 OpenAI 兼容的后端部署 LFM2.5-24B-A2B，然后将你的智能体框架指向它。例如，使用 Hermes Agent：

hermes config set model.provider custom
hermes config set model.base_url http://localhost:8080/v1
hermes config set model.default LFM2.5-24B-A2B
hermes config set model.context_length 131072
hermes config set model.api_mode chat_completions
hermes config set agent.tool_use_enforcement true

端口取决于你的服务后端：llama.cpp 和 MLX 使用 8080，vLLM 使用 8000，SGLang 使用 30000，LM Studio 使用 1234。OpenClaw 和 Pi 的配置请参阅模型卡（https://huggingface.co/LiquidAI/LFM2.5-24B-A2B），完整的设置指南请参阅我们的指南（https://docs.liquid.ai/examples/agent-harnesses）。视频示例请查看我们的发布博客（https://www.liquid.ai/blog/lfm2-5-24b-a2b）。

开始使用 LFM2.5-24B-A2B

LFM2.5-24B-A2B 和 LFM2.5-24B-A2B-Base 均为开放权重模型，现已在 Hugging Face 上线：

• **下载：**在 Hugging Face 上获取 LFM2.5-24B-A2B-Base（https://huggingface.co/LiquidAI/LFM2.5-24B-A2B-Base）和 LFM2.5-24B-A2B（https://huggingface.co/LiquidAI/LFM2.5-24B-A2B）。
• **在你的框架中使用：**按照我们的指南（https://docs.liquid.ai/examples/agent-harnesses）了解如何运行 OpenClaw、Hermes Agent 和 Pi 等本地智能体。
• **微调：**使用我们的微调教程（https://github.com/Liquid4All/cookbook/tree/main/finetuning/notebooks）将 LFM2.5-24B-A2B 适配到你的任务。

我们迫不及待想看到你的作品。

引用

如果你使用了本工作，请引用发布博客：

@article{liquidAI202624BA2B,
  author  = {Liquid AI},
  title   = {LFM2.5-24B-A2B: Built for Fast On-Device Agents},
  journal = {Liquid AI Blog},
  year    = {2026},
  note    = {www.liquid.ai/blog/lfm2-5-24b-a2b},
}