poolside/Laguna-S-2.1-GGUF · Hugging Face

Source: https://huggingface.co/poolside/Laguna-S-2.1-GGUF poolside-banner

在 OpenRouter 上使用 (https://openrouter.ai/poolside/laguna-s-2.1) · 在 Vercel AI Gateway 上使用 (https://vercel.com/ai-gateway/models/laguna-s-2.1) · 发布博客文章 (https://poolside.ai/blog/introducing-laguna-s-2-1)

这是为 llama.cpp 准备的 Laguna S 2.1 (https://huggingface.co/poolside/Laguna-S-2.1) 的 GGUF 转换版本，还包括 DFlash 推测解码草稿模型。有关架构细节、许可证和使用指导，请参阅基础模型卡片 (https://huggingface.co/poolside/Laguna-S-2.1)。

https://huggingface.co/poolside/Laguna-S-2.1-GGUF#filesFiles

文件大小备注laguna\-s\-2\.1\-F16\.gguf235 GB全精度laguna\-s\-2\.1\-Q8\_0\.gguf128 GBlaguna\-s\-2\.1\-Q4\_K\_M\.gguf75 GBimatrix 量化laguna\-s\-2\.1\-DFlash\-BF16\.gguf2.2 GB用于推测解码的 DFlash 草稿模型laguna\-s\-2\.1\.imatrix0.4 GB用于 K 量化的重要性矩阵

https://huggingface.co/poolside/Laguna-S-2.1-GGUF#servingServing

服务

使用 Poolside 的 llama.cpp 分支 laguna (https://github.com/poolsideai/llama.cpp/tree/laguna) 提供服务，该分支完全支持 Laguna，包括 DFlash 推测解码。（基础 Laguna 支持也正在上游审查中：ggml-org/llama.cpp#25165 (https://github.com/ggml-org/llama.cpp/pull/25165)。）

git clone --branch laguna https://github.com/poolsideai/llama.cpp
cd llama.cpp && cmake -B build && cmake --build build -j

./build/bin/llama-server -m laguna-s-2.1-Q4_K_M.gguf --jinja --port 8000

# 使用 DFlash 推测解码：
./build/bin/llama-server -m laguna-s-2.1-Q4_K_M.gguf \
  -md laguna-s-2.1-DFlash-BF16.gguf \
  --spec-type draft-dflash --spec-draft-n-max 15 -fa on --jinja --port 8000

https://huggingface.co/poolside/Laguna-S-2.1-GGUF#context-lengthContext length

上下文长度

这些 GGUF 文件默认配置为 262,144 个 token（256K）的上下文窗口。这是我们推荐以获得最佳输出质量的配置。

权重本身是原生 1M 检查点：训练包含一个长达 1,048,576 个 token 的长上下文扩展阶段。要在 llama.cpp 中使用超过 256K 的上下文，请在加载时覆盖 rope 配置：

--ctx-size 1048576 --rope-scaling yarn --rope-scale 128 --yarn-orig-ctx 8192

使用 1M 配置时可能会遇到质量下降。如果使用，我们建议使用 --temp 0.7 --top-p 0.95 进行采样。

此版本还修正了嵌入的 yarn_attn_factor 元数据（现为 1.0；llama.cpp 内部计算 YaRN 注意力缩放）。