Quartermaster 1.7 更新现已支持通过 playground 选项卡运行 llama.cpp 的新决策模型（/v1/systemone）

Reddit r/LocalLLaMA 工具
local-inference llama.cpp gguf model-management decision-models self-hosted

摘要

Quartermaster 1.7 发布，新增对 llama.cpp 新决策模型（/v1/systemone）的支持，包括自动发现决策 GGUF 模型、带概率条的 Playground 测试标签页，以及通过调度器和 API 密钥代理 /v1/systemone 请求。

Quartermaster（我的本地推理管理器：一个能将 llama.cpp、图像、音频和视频模型换入和换出显存的服务器）现在可以帮你提供决策模型服务并管理这些模型：自动发现。将一个决策模型 GGUF（Kev、OpenJev、Laya 等）放入模型文件夹，它就会获得自己的配置条目，并像其他模型一样根据显存容量进行配置。Playground 标签页。写下提示词，提出一个问题，选择答案形式，然后点击运行。每个选项都会显示一个概率条。适合快速测试。模型浏览器。Decision 标签页可以在 Hugging Face 上找到这些模型。相同的 API，通过代理转发。POST /v1/systemone 会经过 Quartermaster 的调度器和 API 密钥验证，因此它会像其他请求一样，按需换入模型，与聊天模型交替运行。需要足够新的 llama.cpp 版本，以支持 /v1/systemone（上游 b11361 及以上版本；Quartermaster 会对旧版本发出警告）。项目信息：https://quartermaster-labs.github.io/Quartermaster/ 发布版本：https://github.com/Quartermaster-Labs/Quartermaster/releases/tag/v1.7.0 很想听听大家都在用这些模型做什么。
查看原文

相似文章

llama.cpp 新增功能：决策模型

Reddit r/LocalLLaMA

llama.cpp 服务器现在通过新的 /v1/systemone 端点支持"决策模型"，在该端点下，单次前向传播即可为类型化的选项（choice/score/yes-no）计算带概率的得分，而不再生成文本。多个 ggml-org 模型（Julia-1、Laya、Kev-4B、lev、OpenJev）现已提供 GGUF 格式，遵循 TypeSafe 的 Jev System One 格式规范。

llama.cpp 发生了什么

Reddit r/LocalLLaMA

llama.cpp 的一次重大更新要求重新生成所有之前生成的 GGUF 文件，这表明模型格式发生了重大的不兼容变化。