LiquidAI/LFM2.5-8B-A1B-GGUF
摘要
LiquidAI 发布了其 LFM2.5-8B-A1B 模型的 GGUF 量化版本，并提供了在多个推理引擎上的使用说明。
查看缓存全文
缓存时间: 2026/05/29 08:10
LiquidAI/LFM2.5-8B-A1B-GGUF · Hugging Face
来源: https://huggingface.co/LiquidAI/LFM2.5-8B-A1B-GGUF
库: llama-cpp-python (https://huggingface.co/LiquidAI/LFM2.5-8B-A1B-GGUF?library=llama-cpp-python)
如何使用 llama-cpp-python 使用 LiquidAI/LFM2.5-8B-A1B-GGUF：
``
!pip install llama-cpp-python
from llama_cpp import Llama
llm = Llama.from_pretrained( repo_id=“LiquidAI/LFM2.5-8B-A1B-GGUF”, filename=“LFM2.5-8B-A1B-BF16.gguf”, ) ``
llm.create_chat_completion( messages = [ { "role": "user", "content": "What is the capital of France?" } ] )
Notebooks Google Colab (https://huggingface.co/LiquidAI/LFM2.5-8B-A1B-GGUF/colab) Kaggle (https://huggingface.co/LiquidAI/LFM2.5-8B-A1B-GGUF/kaggle)
本地应用 https://huggingface.co/settings/local-apps#local-apps
llama.cpp (https://huggingface.co/LiquidAI/LFM2.5-8B-A1B-GGUF?local-app=llama.cpp)
如何使用 llama.cpp 使用 LiquidAI/LFM2.5-8B-A1B-GGUF：
通过 brew 安装
`` brew install llama.cpp
启动一个本地 OpenAI 兼容的服务器，带 Web UI：
llama-server -hf LiquidAI/LFM2.5-8B-A1B-GGUF:Q4_K_M
直接在终端中运行推理：
llama-cli -hf LiquidAI/LFM2.5-8B-A1B-GGUF:Q4_K_M ``
通过 WinGet (Windows) 安装
`` winget install llama.cpp
启动一个本地 OpenAI 兼容的服务器，带 Web UI：
llama-server -hf LiquidAI/LFM2.5-8B-A1B-GGUF:Q4_K_M
直接在终端中运行推理：
llama-cli -hf LiquidAI/LFM2.5-8B-A1B-GGUF:Q4_K_M ``
使用预编译二进制文件
``
从以下地址下载预编译二进制文件：
https://github.com/ggerganov/llama.cpp/releases
启动一个本地 OpenAI 兼容的服务器，带 Web UI：
./llama-server -hf LiquidAI/LFM2.5-8B-A1B-GGUF:Q4_K_M
直接在终端中运行推理：
./llama-cli -hf LiquidAI/LFM2.5-8B-A1B-GGUF:Q4_K_M ``
从源代码构建
`` git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake –build build -j –target llama-server llama-cli
启动一个本地 OpenAI 兼容的服务器，带 Web UI：
./build/bin/llama-server -hf LiquidAI/LFM2.5-8B-A1B-GGUF:Q4_K_M
直接在终端中运行推理：
./build/bin/llama-cli -hf LiquidAI/LFM2.5-8B-A1B-GGUF:Q4_K_M ``
使用 Docker
docker model run hf.co/LiquidAI/LFM2.5-8B-A1B-GGUF:Q4_K_M
vLLM (https://huggingface.co/LiquidAI/LFM2.5-8B-A1B-GGUF?local-app=vllm)
如何使用 vLLM 使用 LiquidAI/LFM2.5-8B-A1B-GGUF：
通过 pip 安装并服务模型
``
通过 pip 安装 vLLM：
pip install vllm
启动 vLLM 服务器：
vllm serve “LiquidAI/LFM2.5-8B-A1B-GGUF”
使用 curl 调用服务器（OpenAI 兼容 API）：
curl -X POST “http://localhost:8000/v1/chat/completions”
-H “Content-Type: application/json”
–data ‘{
“model”: “LiquidAI/LFM2.5-8B-A1B-GGUF”,
“messages”: [
{
“role”: “user”,
“content”: “What is the capital of France?”
}
]
}’
``
使用 Docker
docker model run hf.co/LiquidAI/LFM2.5-8B-A1B-GGUF:Q4_K_M
Ollama (https://huggingface.co/LiquidAI/LFM2.5-8B-A1B-GGUF?local-app=ollama)
如何使用 Ollama 使用 LiquidAI/LFM2.5-8B-A1B-GGUF：
ollama run hf.co/LiquidAI/LFM2.5-8B-A1B-GGUF:Q4_K_M
Unsloth Studio 新增 (https://huggingface.co/LiquidAI/LFM2.5-8B-A1B-GGUF?local-app=unsloth)
如何使用 Unsloth Studio 使用 LiquidAI/LFM2.5-8B-A1B-GGUF：
安装 Unsloth Studio（macOS、Linux、WSL）
`` curl -fsSL https://unsloth.ai/install.sh | sh
运行 unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
然后在浏览器中打开 http://localhost:8888
搜索 LiquidAI/LFM2.5-8B-A1B-GGUF 开始聊天
``
安装 Unsloth Studio（Windows）
`` irm https://unsloth.ai/install.ps1 | iex
运行 unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
然后在浏览器中打开 http://localhost:8888
搜索 LiquidAI/LFM2.5-8B-A1B-GGUF 开始聊天
``
使用 HuggingFace Spaces 运行 Unsloth
``
无需设置
在浏览器中打开 https://huggingface.co/spaces/unsloth/studio
搜索 LiquidAI/LFM2.5-8B-A1B-GGUF 开始聊天
``
Pi 新增 (https://huggingface.co/LiquidAI/LFM2.5-8B-A1B-GGUF?local-app=pi)
如何使用 Pi 使用 LiquidAI/LFM2.5-8B-A1B-GGUF：
启动 llama.cpp 服务器
``
安装 llama.cpp：
brew install llama.cpp
启动一个本地 OpenAI 兼容的服务器：
llama-server -hf LiquidAI/LFM2.5-8B-A1B-GGUF:Q4_K_M ``
在 Pi 中配置模型
``
安装 Pi：
npm install -g @mariozechner/pi-coding-agent
添加到 ~/.pi/agent/models.json：
{ “providers”: { “llama-cpp”: { “baseUrl”: “http://localhost:8080/v1”, “api”: “openai-completions”, “apiKey”: “none”, “models”: [ { “id”: “LiquidAI/LFM2.5-8B-A1B-GGUF:Q4_K_M” } ] } } } ``
运行 Pi
``
在项目目录中启动 Pi：
pi ``
Hermes Agent 新增 (https://huggingface.co/LiquidAI/LFM2.5-8B-A1B-GGUF?local-app=hermes-agent)
如何使用 Hermes Agent 使用 LiquidAI/LFM2.5-8B-A1B-GGUF：
启动 llama.cpp 服务器
``
安装 llama.cpp：
brew install llama.cpp
启动一个本地 OpenAI 兼容的服务器：
llama-server -hf LiquidAI/LFM2.5-8B-A1B-GGUF:Q4_K_M ``
配置 Hermes
``
安装 Hermes：
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash hermes setup
将 Hermes 指向本地服务器：
hermes config set model.provider custom hermes config set model.base_url http://127.0.0.1:8080/v1 hermes config set model.default LiquidAI/LFM2.5-8B-A1B-GGUF:Q4_K_M ``
运行 Hermes
hermes
Docker Model Runner (https://huggingface.co/LiquidAI/LFM2.5-8B-A1B-GGUF?local-app=docker-model-runner)
如何使用 Docker Model Runner 使用 LiquidAI/LFM2.5-8B-A1B-GGUF：
docker model run hf.co/LiquidAI/LFM2.5-8B-A1B-GGUF:Q4_K_M
Lemonade (https://huggingface.co/LiquidAI/LFM2.5-8B-A1B-GGUF?local-app=lemonade)
如何使用 Lemonade 使用 LiquidAI/LFM2.5-8B-A1B-GGUF：
拉取模型
``
从 https://lemonade-server.ai/ 下载 Lemonade
lemonade pull LiquidAI/LFM2.5-8B-A1B-GGUF:Q4_K_M ``
运行并与模型聊天
lemonade run user.LFM2.5-8B-A1B-GGUF-Q4_K_M
列出所有可用模型
lemonade list
相似文章
Liquid AI 发布 LFM2.5-8B-A1B
Liquid AI 发布了 LFM2.5-8B-A1B，这是一款边缘模型，拥有 128K 上下文窗口、38T 预训练 token 和大规模强化学习，支持工具调用和复杂任务，同时可运行于入门级笔记本电脑。
Liquid AI 发布基于 38T 训练的 8B-A1B MoE 模型
Liquid AI 发布了 LFM2.5-8B-A1B，这是一款边缘 MoE 模型，基于 38T tokens 训练，拥有 128K 上下文窗口，改进了工具调用和推理能力，可在 Hugging Face 上获取。
@LottoLabs: 给显卡不够用的兄弟们的一个超酷模型，在一个海量token上训练的8b a1b模型，速度飞快…
LottoLabs 宣布了 LiquidAI 的 LFM2.5-8B-A1B-GGUF 模型，这是一个8B参数的模型，在大量token上训练，并针对有限GPU硬件上的快速推理进行了优化，支持 llama.cpp、Ollama、vLLM 等。
@abidlabs：对于一个8B模型来说，非常出色！在这里查看 @Gradio 应用：https://huggingface.co/spaces/LiquidAI/LFM2.5-8B-A1B…
Liquid AI 发布了 LFM2.5-8B-A1B，这是一个8B MoE模型，拥有1.5B活跃参数和128K上下文，为边缘设备优化。
hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF
一个 35B 参数的 Qwen3.6 模型，使用 Claude-Opus 风格的思维链蒸馏数据微调，并以 GGUF 量化格式发布，可在本地高效推理。