Cloudflare/clef-omni · Hugging Face

来源：https://huggingface.co/Cloudflare/clef-omni

• **公告：**Clef-omni 模型发布于 Cloudflare 博客 (https://blog.cloudflare.com/clef-faster-cheaper-multimodal)

Clef-Omni 是一个 30B-A3B 混合专家多模态模型，能够将状态和类型化问题模式转化为决策。它以文本、JSON、图像、音频或视频的形式读取状态，并在单次前向传播中为每个问题的每个允许选项返回一个概率。不存在自由文本生成，也无需输出解析。

Clef-Omni API 与 Jev 和 SystemOne 完全兼容。

Clef-Omni 基于Qwen/Qwen3-Omni-30B-A3B-Instruct (https://huggingface.co/Qwen/Qwen3-Omni-30B-A3B-Instruct)进行后训练。关于密集图像和视频变体，请参阅Clef (https://huggingface.co/Cloudflare/clef)和Clef-Flash (https://huggingface.co/Cloudflare/clef-flash)。

模型

• **骨干网络：**Qwen/Qwen3-Omni-30B-A3B-Instruct思考器，附带其视觉和音频编码器，以标准分片 safetensors 存储。基础模型的语音输出权重（talker 和 code2wav）原封不动地包含在内但不会使用；load_release_model不会加载它们。
• **联合模式头：**一个小型 transformer 头，读取骨干网络的最终隐藏状态，将状态中的证据路由到每个问题，并联合评分所有问题的所有选项。
• **输出：**每个问题的每个允许选项对应一个 logit。对每个问题应用 softmax 即可得到概率。

文件

使用方法

在单张 H200 上使用 torch 2.11 和 transformers 5.10.2 测试通过；骨干网络在 bfloat16 下大约需要 64 GB GPU 显存。图像输入还需要 pillow，音频和视频文件需要 av。

import sys

import torch
from huggingface_hub import snapshot_download

path = snapshot_download("Cloudflare/clef-omni")
sys.path.insert(0, path)
from joint_schema_model import collate_records, encode_record, load_release_model

model, processor = load_release_model(path, device="cuda")

record = {
    "state": {"invoice": {"vendor": "Acme", "total": 1250.0, "currency": "USD", "status": "overdue"}},
    "questions": {
        "status": {
            "type": "choice",
            "instructions": "What is the invoice status?",
            "criteria": {"paid": "Invoice is paid.", "overdue": "Invoice is past due.", "draft": "Not sent."},
        },
        "large": {"type": "noul", "instructions": "Is the total above 1000 USD?"},
    },
}

encoded = encode_record(processor.tokenizer, record, processor=processor)
batch = collate_records([encoded], processor.tokenizer.pad_token_id, torch.device("cuda"))
with torch.inference_mode():
    logits = model(batch)[0]

for question, question_logits in zip(encoded.questions, logits):
    probabilities = question_logits.float().softmax(-1).tolist()
    print(question.question_id, dict(zip(question.option_ids, probabilities)))

Jev / SystemOne API

systemone 接受 Jev/SystemOne POST /v1/systemone 请求体并返回相同的响应体：model、按问题 ID 索引的 answers 以及 usage。choice 回答包含 choice、confidence 和 probabilities；score 回答包含预期的 score、confidence、legend 和 probabilities；noul 回答包含为真的概率。instructions 是可选的，请求中还可以添加 images、audio 和 videos（base64 数据 URL）。

from joint_schema_model import systemone

response = systemone(model, processor, {
    "model": "clef-omni",
    "state": "Our checkout started returning errors and orders are blocked.",
    "questions": {
        "department": {
            "type": "choice",
            "instructions": "Which team should handle the message?",
            "criteria": {"billing": "Payments or invoices", "technical": "Bugs or outages"},
        },
        "urgency": {"type": "score", "criteria": ["Can wait", "This week", "Today"]},
        "outage": {"type": "noul", "instructions": "Is a service down?"},
    },
})
print(response["answers"])

图像、音频和视频

在记录中添加 images、audio 或 videos，并将处理器传给 encode_record。每个条目可以是文件路径、URL、base64 数据 URL 或原始字节。图像也可以是 PIL 图像，音频可以是 16 kHz 单声道采样数组，视频可以是按每秒 2 帧采样的 RGB 帧数组。视频文件按每秒 2 帧采样，当记录中的每个视频都有音轨时，其音轨会与帧一起被处理。可选的处理器参数放在 media_kwargs 中。

record = {
    "state": {"task": "Review the attached call recording and dashcam clip."},
    "audio": ["call.wav"],
    "videos": ["dashcam.mp4"],
    "questions": {
        "glass": {"type": "noul", "instructions": "Is glass breaking in the audio clip?"},
        "collision": {"type": "noul", "instructions": "Does the video show a collision?"},
    },
}
encoded = encode_record(processor.tokenizer, record, processor=processor)

纯文本和多模态记录可以在同一批次中混合使用。

SGLang

使用 SGLang（即将推出！）

输入格式

每个问题包含：

• type：noul（真/假）、choice（命名选项）或 score（有序选项）
• instructions：要判断的内容；可选，省略时使用问题 ID 作为说明
• criteria：对于 choice，是选项 ID 到描述的映射；对于 score，是从 0 开始索引的选项描述列表；对于 noul，是可选的 true 和 false 描述

encode_record 接受 max_length（默认 64,000 个 token）和 max_state_tokens 参数来限制输入。

结果

Decision Index

来自我们内部运行的Decision Index (https://clef-evals.workers-ai-mle.workers.dev/) 0.2.1 套件的各基准测试结果。分数为百分比；ForecastBench 是 Brier 分数，越低越好。每行的最佳值以粗体标出。

工作流评估

来自Typesafe Evals (https://evals.typesafe.ai/) 的四个端到端业务工作流的决策准确率，以共识参考标签进行评分。所有模型在同一数据集修订版和案例群体上评分。

许可证

基于 Apache-2.0 许可证发布，基础模型为Qwen/Qwen3-Omni-30B-A3B-Instruct (https://huggingface.co/Qwen/Qwen3-Omni-30B-A3B-Instruct)。