Open d1：面向文本、视觉和音频的边缘决策模型（6 分钟阅读）

# Open d1：面向文本、视觉和音频的边缘决策模型 来源：https://www.liquid.ai/blog/d1-open 今天，我们发布了 **d1-3B** 和 **d1-omni-600M**，这两款开放权重模型均属于我们的 d1 决策模型家族（https://www.liquid.ai/blog/d1-decision-model）。 d1-3B 在 Decision Index v0.2.1（https://huggingface.co/spaces/multimodalart/jev-decision-index）（公开子集）上得分为 48.57，领先于所有 10B 以下的模型，并与 Decider 35B-A3B（一个规模是其 12 倍的决策模型）持平。它可以运行完整的 NVIDIA 技术栈——从数据中心的 DGX 到边缘端的 Jetson：d1-3B 在 NVIDIA GeForce RTX 4090 上回答一个问题需要 8 毫秒，在 Jetson AGX Thor 上需要 16 毫秒，在 Jetson AGX Orin 上需要 26 毫秒。即便是 Jetson Orin Nano 也能在 50 毫秒内完成运行，足以在最小的边缘硬件上实现实时决策。 d1-omni-600M 是我们的第一个实验性检查点，同时处理文本和图像，以及文本和音频。它在同一指数上得分为 15.95。 d1-3B（https://huggingface.co/LiquidAI/d1-3b）和 d1-omni-600M（https://huggingface.co/LiquidAI/d1-omni-600M）模型现已在 Hugging Face 上提供。请查阅我们的文档（https://docs.liquid.ai/lfm/models/decision-models）了解如何在本地运行它们。 ## 架构与训练 与我们的生成式 Liquid Foundation Models（LFMs）不同，我们的 d1 决策模型不会生成 token。相反，它们在单次前向传播中直接产出答案。 d1-3B 和 d1-omni-600M 基于两种截然不同的骨干架构训练而来： - **d1-3B** 基于 LFM2.5-VL-3B（https://huggingface.co/LiquidAI/LFM2.5-VL-3B）训练，这是我们最新的 VLM，采用纯解码器架构。它接受文本和图像作为输入。 - **d1-omni-600M** 基于 LFM2.5-Encoder-350M（https://huggingface.co/LiquidAI/LFM2.5-Encoder-350M）训练，这是一个双向编码器。它通过添加视觉和音频编码器来处理全部三种模态。它接受文本加图像，或文本加音频作为输入。 **d1-3B。** 我们对 LFM2.5-2.6B 和 LFM2.5-VL-3B 的文本骨干进行了权重平均，以创建一个更好的基础模型。然后我们使用不同的随机种子和数据混合方案微调了多个检查点，之后再次进行权重合并。在长输入上训练、打乱答案选项以及修复数据中的捷径（shortcut），比更高级的技术带来了更大的提升。 图 2：d1-3B 架构示意图 **d1-omni-600M。** 我们首先在决策任务上微调 LFM2.5-Encoder-350M，然后分阶段添加音频和视觉能力。对于音频，我们训练了一个 FastConformer 编码器，并通过适配器（adapter）将其连接到骨干网络，然后在冻结文本骨干的情况下微调音频编码器。对于视觉，我们使用了来自 LFM2.5-VL-450M 的编码器，并训练了适配器以及对骨干网络的 LoRA 更新。这些更新仅在输入包含图像时激活，且视觉编码器保持冻结。然后我们微调了完整的模型，合并了 LoRA 更新，并与之前的检查点进行权重平均，以对最终模型进行正则化。 图 3：d1-omni-600M 架构示意图。 ## 基准测试 **文本基准测试。** 我们在七个公开基准上评估了 d1-3B 和 d1-omni-600M，涵盖阅读理解、毒性检测、意图分类、医学问答和跨语言理解。 | 基准 | d1-omni-600M | d1-3B | Decider 2B | Decider 4B | |------|-------------|-------|------------|------------| | SQuAD 2.0 | 74.0 | **85.3** | 67.7 | 76.0 | | Civil Comments | **95.8** | 93.0 | 93.6 | 92.8 | | MASSIVE intent | 86.1 | 87.3 | 81.1 | **88.3** | | PubMedQA | 61.3 | **66.0** | 65.7 | 63.3 | | BoolQ | 77.7 | 86.7 | 87.3 | **89.0** | | XNLI | 74.7 | 85.0 | 85.0 | **88.6** | | PAWS-X | **79.5** | **76.9** | 59.5 | 69.8 | | **平均值** | 78.4 | **82.9** | 77.1 | 81.1 | 表 1：文本基准测试对比 d1-3B 以 82.9 的平均分领先，是表格中最高的，超过了 Decider 4B（81.1）。d1-omni-600M 达到 78.4，以四分之一的参数量超过了 Decider 2B（77.1）。它还在毒性检测（Civil Comments：95.8）和释义识别（PAWS-X：79.5）上取得了表格中的最高分。 **视觉和音频性能。** Decision Index v0.3 包含一个私有视觉子集，我们不在本次发布中报告其结果。我们验证了 d1-3B 在标准视觉基准上保留了其 LFM2.5-VL-3B 骨干的视觉能力，并且 d1-omni-600M 能够处理全部三种模态。它们的视觉能力展示在下方的 playground 演示中。专门的音频决策基准目前仍是一个开放问题。我们期待社区在多模态决策模型这一领域成熟的过程中开发出相应的基准。 ## 全场景高速推理 d1-3B 和 d1-omni-600M 可运行完整的 NVIDIA 技术栈——从数据中心的 DGX 到 RTX 工作站，再到边缘端的 Jetson——并在发布首日即支持 llama.cpp。 由于决策模型不生成输出 token，我们衡量的是端到端延迟，即从输入到输出的完整耗时。我们报告 d1-3B 的推理数据。d1-omni-600M 是早期研究版本，仍在积极开发中。 **边缘推理。** 我们在 Apple M5 Pro 上，以及与 NVIDIA 合作，在 NVIDIA Jetson AGX Thor、Jetson AGX Orin 64 GB 和 Jetson Orin Nano 上测量延迟。每次处理一个请求，测试场景包括单个问题、同一状态下三个问题、3.4K token 状态和 384px 图像。 | 设备 | 单个问题 | 3 个问题 | 3.4K token 状态 | 384px 图像 | 64 个状态，打包 | |------|---------|---------|----------------|-----------|----------------| | Apple M5 Pro | 30 ms | 41 ms | 640 ms | 62 ms | 78 / s | | Jetson AGX Thor | 16 ms | 20 ms | 220 ms | 35 ms | 262 / s | | Jetson AGX Orin 64 GB | 26 ms | 35 ms | 560 ms | 83 ms | 110 / s | | Jetson Orin Nano | 50 ms | 73 ms | 1,640 ms | 202 ms | 38 / s | 表 2：边缘推理 d1-3B 在所有测试设备上回答单个问题均在 50 毫秒以内。三个问题的耗时仅为单个问题的 1.3 倍，AGX Thor 从 16 毫秒仅增至 20 毫秒。 **GPU 推理。** 我们在 NVIDIA RTX 4090 和 AMD MI325X 上测量延迟，每次处理一个请求，测试场景包括单个问题、同一状态下三个问题、3.4K token 状态和 384px 图像。 | 设备 | 单个问题 | 3 个问题 | 3.4K token 状态 | 384px 图像 | 64 个状态，打包 | |------|---------|---------|----------------|-----------|----------------| | NVIDIA RTX 4090 | 8 ms | 21 ms | 102 ms | 17 ms | 475 / s | | AMD MI325X | 9 ms | 14 ms | 44 ms | 18 ms | 1,106 / s | 表 3：GPU 推理 在 GPU 上，d1-3B 在两个平台上回答一个问题均在 10 毫秒以内，处理 384px 图像均在 18 毫秒以内。 ## 开放 d1 实际应用 这些结果使我们的小型开放 d1 决策模型非常适合任何需要快速、结构化决策的场景，包括多模态输入。d1-3B 在其规模下提供了最高的决策质量，而 d1-omni-600M 则适合对资源占用有要求的场景。 为了展示实时决策在实际应用中的效果，我们构建了十个演示，它们对实时摄像头输入循环运行开放的 d1-3B，从手势控制游戏到实时内容审核，每个演示都通过每帧一次前向传播来读取答案。你可以在我们的 Hugging Face Space（https://huggingface.co/spaces/LiquidAI/system-one-arcade）中无需任何设置即可体验。 与 NVIDIA 合作，我们还展示了 d1-3B 在 Isaac Sim 中导航环境的场景，模型在硬件在环（hardware-in-the-loop）设置中部署在 Jetson 上。 ## 开始使用 立即开始使用 d1-3B（https://huggingface.co/LiquidAI/d1-3b）和 d1-omni-600M（https://huggingface.co/LiquidAI/d1-omni-600M）进行构建，它们现已在 Hugging Face 上提供。 通过 d1，我们正在实现 AI 无处不在运行的愿景。这些模型： - **开放权重** — 可自由下载、微调和部署，无任何限制 - **首日即快** — 原生支持 llama.cpp，覆盖 Apple、AMD、Qualcomm 和 NVIDIA（支持 NVFP4） - **成家族化** — 两种尺寸，让你根据部署需求在精度和资源占用之间灵活取舍 我们迫不及待地想看到你能构建出什么。 在 Hugging Face 上下载 d1-3B（https://huggingface.co/LiquidAI/d1-3B）（Liquid AI 标志） 在 Hugging Face 上下载 d1-omni-600M（https://huggingface.co/LiquidAI/d1-omni-600M）（Liquid AI 标志） 阅读 NVIDIA Jetson AI Lab 关于 d1-3B 的介绍（https://www.jetson-ai-lab.com/models/d1-3b）（NVIDIA 标志） 阅读 NVIDIA Jetson AI Lab 关于 d1-omni-600M 的介绍（https://www.jetson-ai-lab.com/models/d1-omni-600M）（NVIDIA 标志） ## 引用 引用时，请使用以下参考文献或 BibTeX： Liquid AI, "Open d1: Edge decision models for text, vision, and audio", Liquid AI Blog, Oct 2026.