Cloudflare 的 Clef 只用两周就超越了 Jev

原理：“冻结“的 Qwen 只做一次预填充（prefill），一个很小的 schema head 并行为每个答案选项打分，全程不生成任何文本。

所以在某些基准测试上，它比 Jev 快 4 倍，同时精度高出 2 倍。

而且它是开源的！

HF 链接： https://huggingface.co/Cloudflare/clef

Cloudflare/clef · Hugging Face

来源：https://huggingface.co/Cloudflare/clef

• **公告：**Cloudflare 博客上的 Clef 决策模型（https://blog.cloudflare.com/clef-decision-models）
• **Decision Index 排行榜：**clef-evals.workers-ai-mle.workers.dev（https://clef-evals.workers-ai-mle.workers.dev/）

Clef 是一个 27B 多模态模型，能够将状态和一组带类型的 schema 问题转化为决策。它可以以文本、JSON、图像或视频的形式读取状态，并在单次前向传播中为每个问题的每个允许选项返回一个概率。它不做自由文本生成，也不需要输出解析。

Clef 的 API 与 Jev 和 SystemOne 完全兼容。

Clef 是在 Qwen/Qwen3.8-27B（https://huggingface.co/Qwen/Qwen3.8-27B）基础上进行后训练得到的。更小、更快的变体请参见 Clef-Flash（https://huggingface.co/Cloudflare/clef-flash）。

https://huggingface.co/Cloudflare/clef#model模型

• **骨干网络：**Qwen/Qwen3.8-27B 及其视觉编码器，以标准的分片 safetensors 格式存储。
• **联合 schema head：**一个很小的 transformer 头，读取骨干网络的最终隐藏层状态，将来自状态的证据路由到每个问题，并联合为所有问题的所有选项打分。
• **输出：**每个问题的每个允许选项对应一个 logit。对每个问题分别施加 softmax 即可得到概率。

https://huggingface.co/Cloudflare/clef#files文件

https://huggingface.co/Cloudflare/clef#usage用法

在单张 H200 上，使用 torch 2.11 和 transformers 5.10.2 进行了测试。使用图像和视频输入还需要 pillow。

import sys

import torch
from huggingface_hub import snapshot_download

path = snapshot_download("Cloudflare/clef")
sys.path.insert(0, path)
from joint_schema_model import collate_records, encode_record, load_release_model

model, processor = load_release_model(path, device="cuda")

record = {
    "state": {"invoice": {"vendor": "Acme", "total": 1250.0, "currency": "USD", "status": "overdue"}},
    "questions": {
        "status": {
            "type": "choice",
            "instructions": "What is the invoice status?",
            "criteria": {"paid": "Invoice is paid.", "overdue": "Invoice is past due.", "draft": "Not sent."},
        },
        "large": {"type": "noul", "instructions": "Is the total above 1000 USD?"},
    },
}

encoded = encode_record(processor.tokenizer, record, processor=processor)
batch = collate_records([encoded], processor.tokenizer.pad_token_id, torch.device("cuda"))
with torch.inference_mode():
    logits = model(batch)[0]

for question, question_logits in zip(encoded.questions, logits):
    probabilities = question_logits.float().softmax(-1).tolist()
    print(question.question_id, dict(zip(question.option_ids, probabilities)))

https://huggingface.co/Cloudflare/clef#jev–systemone-apiJev / SystemOne API

systemone 接受一个 Jev/SystemOne 的 POST /v1/systemone 请求体，并返回相同的响应体：model、按问题 ID 索引的 answers，以及 usage。choice 类型的答案包含 choice、confidence 和 probabilities；score 类型的答案包含预期的 score、confidence、legend 和 probabilities；noul 类型的答案则给出为真的概率。instructions 是可选的，请求中还可以添加 images 和 videos。

from joint_schema_model import systemone

response = systemone(model, processor, {
    "model": "clef",
    "state": "Our checkout started returning errors and orders are blocked.",
    "questions": {
        "department": {
            "type": "choice",
            "instructions": "Which team should handle the message?",
            "criteria": {"billing": "Payments or invoices", "technical": "Bugs or outages"},
        },
        "urgency": {"type": "score", "criteria": ["Can wait", "This week", "Today"]},
        "outage": {"type": "noul", "instructions": "Is a service down?"},
    },
})
print(response["answers"])

https://huggingface.co/Cloudflare/clef#images-and-video图像与视频

在记录中添加 images（PIL 图像）或 videos（帧数组），并将 processor 传给 encode_record。可选的 processor 参数放在 media_kwargs 中。

from PIL import Image

record = {
    "state": {"task": "Review the attached receipt."},
    "images": [Image.open("receipt.jpg")],
    "questions": {
        "legible": {"type": "noul", "instructions": "Is the receipt total legible?"},
    },
}
encoded = encode_record(processor.tokenizer, record, processor=processor)

纯文本记录和多模态记录可以在同一个批次中混合使用。

https://huggingface.co/Cloudflare/clef#input-format输入格式

每个问题包含：

• type：noul（真/假）、choice（命名选项）或 score（有序选项）
• instructions：要决策的内容；可选，省略时使用问题 ID 代替
• criteria：对于 choice，是选项 ID 到描述的映射；对于 score，是从 0 开始索引的选项描述列表；对于 noul，可选的 true 和 false 描述

encode_record 接受 max_length（默认 16,384 个 token）和 max_state_tokens 参数，用于限制输入长度。

https://huggingface.co/Cloudflare/clef#results结果

https://huggingface.co/Cloudflare/clef#decision-indexDecision Index

以下是我们内部运行 Decision Index（https://clef-evals.workers-ai-mle.workers.dev/）0.2.1 套件得到的各基准测试结果。分数以百分比表示；ForecastBench 采用 Brier 分数，数值越低越好。最后两行是请求延迟（毫秒），数值越低越好。每行中的最优值以粗体标出。

https://huggingface.co/Cloudflare/clef#workflow-evals工作流评测

来自 Typesafe Evals（https://evals.typesafe.ai/）的四个端到端业务工作流上的决策准确率，以共识参考标签进行评分。所有模型均在相同的数据集版本和案例集上评分。

https://huggingface.co/Cloudflare/clef#license许可证

基于基础模型 Qwen/Qwen3.8-27B（https://huggingface.co/Qwen/Qwen3.8-27B），采用 Apache-2.0 许可证发布。