推出全模态 Clef-omni，以及更快的 Clef 和更便宜的 Clef-flash（7分钟阅读）

# 发布 Clef-omni：全面多模态支持，以及更快的 Clef 和更便宜的 Clef-flash 来源：https://blog.cloudflare.com/clef-faster-cheaper-multimodal/ 继上周发布 Clef 和 Clef-flash（https://blog.cloudflare.com/clef-decision-models/）——Cloudflare 的开源权重决策模型之后，我们决定再送给大家更多惊喜。今天，我们发布 **Clef-omni**，它在文本和图像输入之外，还支持音频和视频输入。我们还降低了 Clef-flash 的价格，使其现在比 Jev 更便宜，同时让 Clef 运行速度更快。 虽然 Cloudflare 在模型领域仍处于早期阶段，但创新和迭代已经融入了我们的基因，我们把这些原则贯彻到所有工作中。事实上，Clef 的故事是在不到一周的时间里完成的。我们在一个周五晚上决定要在决策模型领域做点什么，周末完成了模型训练，并在周四正式发布。尽管时间线如此紧迫，我们依然为社区交付了高性能、高质量的开源权重模型——想象一下我们未来还能做到什么。 今天，我们很高兴能延续这一势头，为 Clef 模型家族带来新的成员和改进。这只是开始，我们将继续变得更好、更快、更便宜、更具创新性。 ## Clef-omni 支持音频、视频、图像和文本输入 我们全新的 Clef-omni 模型能够接受音频、视频、图像和文本输入。这改变了决策模型的范式——自 TypeSafe 推出 Jev 以来，决策模型一直以纯文本为主。在 Clef 中，我们支持了图像和视频帧数组，而 Clef-omni 则能同时接受音频（wav 或 mp3）和视频（mp4 或 webm），以及文本和图像输入。你无需再搭建级联模型管道来将语音转写为文本，或从视频中分离音频和图像通道——只需调用一个模型，就能在任意模态上做出决策。 我们正朝着一个能以我们感知世界的方式与世界交互的模型更近一步——通过音频、视觉和文本通信，全部合为一体。 欢迎查看我们关于 Clef-omni 的开发者文档（https://developers.cloudflare.com/workers-ai/models/clef-omni）。我们也已在 HuggingFace 上发布了模型的开源权重（https://huggingface.co/Cloudflare/clef-omni）。 快速上手方式如下，向 Clef-omni 发送新的模态输入： ``` curl https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/run/@cf/cloudflare/clef-omni \ -X POST \ -H "Authorization: Bearer $CLOUDFLARE_AUTH_TOKEN" \ -H "Content-Type: application/json" \ -d '{ "model": "clef-omni", "state": "Review the installation: a photo of the unit, an audio recording of it running, and a video of the fan.", "images": ["data:image/png;base64,"], "audio": ["data:audio/mpeg;base64,"], "videos": ["data:video/mp4;base64,"], "questions": { "label_visible": {"type": "noul", "instructions": "Is the model and serial number label visible in the photo?"}, "sounds_normal": {"type": "noul", "instructions": "Does the unit sound like it is running smoothly, without rattling or grinding?"}, "fan_running": {"type": "noul", "instructions": "Is the fan running in the video?"} } }' ``` Clef-omni 将我们的开源权重决策架构扩展到能够原生处理多模态工作流。我们基于 Qwen3-Omni-30B-A3B-Instruct 混合专家（MoE）基础模型构建，在该模型中已经能够直接在单一流水线中处理文本、图像、音频和视频。我们保留了主要的理解骨干网络，但去除了文本转语音的输出组件。 在生产环境中，Clef-omni 对完整载荷执行一次快速预填充过程，同时对所有模态和有效的参数选项进行评分。由于我们跳过了输出 token 生成（因为 Clef 模型不是大语言模型 LLM），因此消除了对传入文件进行转写或生成描述的开销。媒体元素直接映射到统一序列中，视频和音频与视觉帧同步进行联合处理。 Clef-omni 通过我们的两阶段注意力路由机制直接从内部嵌入中提取候选值：每个有效选项先从输入中收集关键证据（无论这些证据是隐藏在文本片段、视觉元素还是音频流中），然后字段向量在完整上下文中进行交叉注意力计算置信度分数。我们添加了内置的词法语法来保留选项语义，从而能够在所有输入类型上实现快速的、受模式约束的评分。 我们使用与 Clef 相同的训练技术：冻结 Qwen3 骨干网络，训练低秩适配器（LoRA），并采用我们的标准后训练方法——结合标签平滑交叉熵损失和 Brier 分数校准。最终得到的模型具有良好的鲁棒性，无论模式变化、字段顺序和提示结构如何，都能成功完成任务。 这为 Clef 模型家族带来了几项核心升级。经过校准的、模式约束的决策现在可以无缝处理文本、图像、音频和同步视频——全部通过一次 API 调用完成。 而且速度很快。纯文本决策的中位数返回时间约为 130 毫秒，图像输入约为 150 毫秒，音频片段为几百毫秒。即使是带有声音的完整 21 秒视频片段，也能在约 1.5 秒内完成评分，全部通过一次 API 调用。 我们的基准测试表明，即使引入了新的模态和 MoE 架构，Clef-omni 在各项基准测试中依然表现强劲。 | 基准测试 | **Clef-omni** (https://huggingface.co/Cloudflare/clef-omni) | **Clef** (https://huggingface.co/Cloudflare/clef) | **Clef-flash** (https://huggingface.co/Cloudflare/clef-flash) | **Jev** (https://typesafe.ai/blog/introducing-system-one-models-and-jev) | |---|---|---|---|---| | BFCL · case exact | 98.2 | 98.47 | **98.76** | 95.75 | | ToolRet · nDCG@10 | 66.6 | **69.19** | 66.43 | 65.28 | | API-Bank · accuracy | 92.7 | 91.93 | **93.11** | 88.19 | | Home appliances · case exact | 69.3 | 82.95 | **97.73** | 52.27 | | When2Call · accuracy | 63.3 | 72.37 | 65.58 | **80.97** | | BANKING77 · macro-F1 | **94.8** | 94.20 | 90.93 | 79.74 | | CLINC150+OOS · macro-F1 | **97.7** | 97.43 | 66.77 | 89.27 | | BRIGHT · nDCG@10 | 42.0 | 45.91 | 39.26 | **47.52** | | Amazon ESCI · macro-F1 | **57.8** | 57.48 | 57.39 | 55.21 | | PhishNChips · accuracy | 73.2 | **79.60** | 75.05 | 62.55 | 我们还与 TypeSafe 的评测进行了对比测试，展示 Clef-omni 的表现（https://evals.typesafe.ai/）。 | 工作流 | 指标 | **Clef-omni** | **Clef** | **Clef-flash** | **Jev** | |---|---|---|---|---|---| | 发票处理 | Exact actions | 60.2 | **64.7** | 57.1 | 61.8 | | 发票处理 | Primary action | 82.0 | **86.2** | 73.3 | 83.1 | | 客户服务 | Exact actions | 71.6 | 76.3 | **77.0** | 76.0 | | 安全事件 | Exact actions | 61.7 | **62.9** | 61.7 | 61.7 | | Agent trace 可观测性 | Primary action | 65.8 | 68.5 | 69.8 | **71.6** | ## Clef-flash 现在更便宜了 我们听到了你们的反馈——你们想要一个足够便宜的决策模型，可以集成到任何工作流中。我们做了一些优化，现在可以以更低的价格提供 Clef-flash。我们希望 Clef 能够在你所有的 agentic 工作流中为你做出可扩展的决策，而现在的定价也支持这一点。 我们成功优化了模型，使 Clef-flash 现在比 Jev **更便宜**，同时保持高性能和高质量。 请查看[开发者文档](https://developers.cloudflare.com/ai/models/)获取最新的定价信息，包括图像和音频模态如何转换为输入 token 进行计价的更多细节。 - **Clef-flash** — 原价为每百万输入 token $0.09，现在为**每百万输入 token $0.038** - **Clef** — 维持**每百万输入 token $0.24** - **Clef-omni** — 今日发布，**每百万输入 token $0.15** 不过，为了实现更低的价格，我们需要做一个取舍：缩短 Clef-flash 的上下文窗口。托管版本的 Clef-flash 现在的上下文窗口为 24k，而非之前宣传的 64k。Hugging Face 上的模型权重未做任何改动，已训练支持 256k 上下文窗口，如果你选择自托管的话可以使用。 根据我们的使用数据，仅有 0.24% 的请求超过 24k 输入 token。基于此数据，我们决定将 Clef-flash 的上下文窗口缩减至 24k，以便将其定价设定在更易接入的水平。我们的 Clef 模型保持 64k 上文窗口不变，我们建议有更大上下文需求的用户切换到 Clef 而非 Clef-flash。 ## Clef 模型现在更快了 Clef 模型的速度也得到了提升，得益于 Workers AI 上托管版本 Clef 的新优化。我们没有发布新的模型权重，因为大部分优化是在服务基础设施层面完成的，而非在模型权重或架构上做出实质性改变。 以下是我们新的速度数据： | 输入大小 | 优化前：中位数 / p95（毫秒） | 优化后：中位数 / p95（毫秒） | 中位数加速比 | |---|---|---|---| | ~800 tokens | 262 / 438 | 152 / 351 | 1.7× | | ~3,400 tokens | 616 / 777 | 305 / 531 | 2.0× | | ~16,000 tokens | 2,721 / 3,250 | 1,635 / 1,805 | 1.7× | 我们所做的优化之一是迁移到 SGLang 进行模型服务。我们与 SGLang 团队合作，提交了将 Clef 集成进去的 PR（PR#42721（https://github.com/sgl-project/sglang/pull/42721）），该功能将在 SGLang 0.5.22 中发布。 由于我们发布了模型权重，你也可以自行托管 Clef，新的 SGLang 启动命令可在我们[更新的 Hugging Face 仓库](https://huggingface.co/collections/Cloudflare/clef)以及 [SGLang cookbooks](https://docs.sglang.io/cookbook/autoregressive/Cloudflare/clef#hw=h200&variant=clef&quant=bf16&strategy=balanced&nodes=single)中找到。 ## 大家如何使用 Clef？ 在 Cloudflare，我们已经有团队在尝试将 Clef 作为跨通用领域的分类模型来使用。看到团队采用 Clef 最酷的一点是，检测和分类能力已经进入了模型层，任何人都可以轻松地将决策模型纳入自己的用例中。此前，即使是零样本分类器，小型模型可能也不够强大，无法在不进行额外调优的情况下跨领域分类。你可能需要组建一个专门的机器学习团队来帮助针对特定领域进行训练，并收集数据语料来训练更好的模型。 而现在，你只需要调用一个模型，就能即时、精确地解析输入数据。 以下是 Cloudflare 内部团队使用 Clef 的几个亮点： - 我们的公共 GitHub 文档仓库使用 Clef 来**即时检测并关闭垃圾 issue**（https://github.com/cloudflare/cloudflare-docs/pull/34139）。 - 我们的内容管理系统 EmDash 用它来**对插件库进行钓鱼检测审核**（https://emdashcms.com/blog/01M49N4779YCXX3QPKWSSNE3DY）。 - 我们的数据防泄漏团队使用 Clef 扫描数据中的潜在个人身份信息（PII），如政府身份证件。 - 我们的威胁情报团队使用 Clef 来帮助检测恶意域名。 ## 快来试试吧！ 我们很高兴为大家带来 Clef 模型家族的更多更新，包括音频和视频等新模态，以及通过更低的价格和更快的速度让模型更加易用。 Clef 完全兼容 Jev API，并可通过 AI Gateway 使用——只需更改模型 ID 即可体验 Clef。 请查看我们的[开发者文档](https://developers.cloudflare.com/ai/models/)了解更多信息。 感谢大家对 Cloudflare 首批模型的热爱和热烈欢迎——我们正专注于为大家带来更多。试试我们的 Clef 模型家族，告诉我们你的想法。