Cloudflare 发布了 Clef-omni,这是一款可直接接收音频和视频的 30B-A3B 决策模型(采用 Apache-2.0 许可证,基于 Qwen3-Omni)
摘要
Cloudflare 发布 Clef-omni,一个基于 Qwen3-Omni-30B-A3B 后训练的多模态决策模型,可直接接收音频与视频输入,在单次前向传播中输出每个选项的概率,意图路由类基准表现强劲。
Cloudflare 刚刚为其 Clef 决策模型系列新增了一个多模态模型。Clef 1 才发布了 8 天。它是什么:一个决策模型,而非大语言模型。你发送一个状态以及带类型的问题(noul / choice / score)。它在单次前向传播中返回每个选项的概率。不生成文本,也无需解析输出。它与 TypeSafe 的 Jev API 兼容。架构:基于 Qwen3-Omni-30B-A3B-Instruct 进行后训练(总参数量 300 亿,激活参数量 30 亿)保留 thinker 及其视觉和音频编码器;发布的权重中包含 talker 和 code2wav,但它们并未被使用 一个小型联合 schema 头将证据分配到各个选项,然后执行跨字段注意力 使用冻结的骨干网络和 LoRA,以标签平滑交叉熵加 Brier 损失进行训练 输入(Workers AI):最多 4 张图片、4 段音频(WAV/MP3,每段 300 秒)和 2 段视频(MP4/WebM,每段 60 秒)托管服务的上下文长度为 64,000 个 token 音频每分钟消耗约 780 个 token;480p 视频每分钟约 8,600 个 token 基准测试(Cloudflare 自行运行):Clef-omni Clef Clef-flash Jev BANKING77 94.8 94.20 90.93 79.74 CLINC150+OOS 97.7 97.43 66.77 89.27 When2Call 63.3 72.37 65.58 80.97 GPQA Diamond 47.4 48.0 51.0 78.3 同一次更新中的其他变化:Clef-flash 的输入价格现为每百万 token 0.038 美元(此前为 0.09 美元),但托管服务的上下文长度降至 24k。自行托管时,其权重仍支持 256k。在约 800 个 token 的情况下,托管 Clef 的延迟中位数从 262 毫秒降至 152 毫秒。Cloudflare 通过迁移到 SGLang(PR #42721)实现了这一改进,而非采用新权重。Clef-omni 在意图路由方面表现出色,但在侧重推理的评测中弱于文本版 Clef。有人已经用真实的语音留言或来电分流数据测试过它了吗?我很好奇,跳过 ASR(自动语音识别)步骤的做法在基准测试之外是否依然有效。完整分析:https://www.marktechpost.com/2026/10/11/cloudflare-clef-omni-multimodal-decision-model/ HF:https://huggingface.co/Cloudflare/clef-omni 技术细节:https://blog.cloudflare.com/clef-faster-cheaper-multimodal/
相似文章
TLDR AI
Cloudflare 发布开源权重决策模型 Clef-omni,支持音频、视频、图像和文本全模态输入,并同时加快了 Clef 速度、降低了 Clef-flash 价格。模型基于 Qwen3-Omni-30B-A3B-Instruct MoE 架构构建,去掉了文本转语音输出组件。
X AI KOLs Timeline
Cloudflare 发布了新的多模态模型 Clef-Omni,这是一个基于 Qwen3-Omni-30B-A3B-Instruct 后训练的 30B-A3B 混合专家多模态模型,可将状态和结构化问题模式一次性转换为概率决策,无需自由文本生成。
X AI KOLs Timeline
Cloudflare 发布 clef-omni,支持音频和视频输入,被用于 PII 检测、恶意域名识别等场景;同时 clef-flash 价格降至每百万输入 token 0.038 美元,具备较高性价比。
Hugging Face Models Trending
Cloudflare 发布了 Clef-Flash,这是一个基于 Qwen3.5-9B 构建的 9B 多模态决策模型,能够在单次前向传播中将一个状态和一组带类型问题的 schema 转换为各选项的概率,无需自由文本生成或输出解析。
Hacker News Top
Cloudflare 发布了两个开源决策模型 Clef 和 Clef-flash,托管于 Workers AI,采用 Apache 2.0 许可并在 Hugging Face 上开放下载,主打低成本、快速且一致的结构化输出,目前在 Jev Decision Index 榜单领先;同时推出新的强化学习微调平台,支持客户针对自身用例对 Clef 进行微调。