在 Foundry 托管计算上使用 Hugging Face 模型

来源：https://huggingface.co/blog/microsoft/foundry-managed-compute 返回文章列表 (https://huggingface.co/blog)

Manoj Bableshwar 的头像 (https://huggingface.co/manojsb)

Osi 的头像 (https://huggingface.co/ositanachi)

• 平台：Microsoft Foundry 与托管计算
• 为什么选择 Hugging Face
• Foundry 上的 Hugging Face 模型 - 精选流程 - 模型运行时 - 部署与评分一个开放权重模型 - 部署模板 - 部署 — Python SDK - 评分 — OpenAI SDK - 在智能体中使用它
• 现已开放哪些模型

在 Microsoft Build 2026 上，我们宣布了 Foundry 托管计算 和 Foundry 上的 Hugging Face 模型——这是一个来自 Hugging Face 生态系统的开放权重模型精选目录，每周更新，支持一键部署到 Foundry 托管计算。权重已预先部署在 Azure 中，运行时由 Microsoft 构建和扫描，集合中的每个模型都享有与 Foundry 上其他模型相同的企业级安全性、治理、可观察性和计费功能。

平台：Microsoft Foundry 与托管计算

Microsoft Foundry 是一个用于构建和运行智能体 AI 应用的平台。Foundry 提供业界最广泛的模型选择——涵盖微软、OpenAI、Anthropic、Meta、Mistral、DeepSeek、Hugging Face 等厂商的模型，包括前沿、开源和自定义权重——所有这些模型均可通过一个统一的端点以及 Python、C#、JavaScript 和 Java 的一套 SDK 进行访问。

在这些模型之上，是 Foundry 智能体服务：多智能体编排功能，内置记忆、通过 Foundry IQ 进行知识库连接，以及通过智能体协议连接的工具目录，使智能体能够与企业数据交互。智能体运行后，Foundry 提供端到端追踪、实时监控、持续评估以及基于评估结果优化智能体行为的提示优化器——这些都是平台内嵌的可观察性和质量反馈循环。

同时，开发者还可以获得：

• 内容安全过滤器
• 任务合规护栏
• 用于对抗性测试的 AI 红队智能体
• 统一 RBAC
• 私有网络
• 平台内直接集成的 Azure Policy

在按 token 付费（入门门槛最低）和预配吞吐量（面向前沿模型的可预测高绩效生产工作负载）之外，Foundry 托管计算 是 Foundry 中的第三种部署选项：一种面向开源和自定义模型的托管 GPU 平台即服务。

你只需描述工作负载所需的参数——参数量、上下文长度以及是否要优化延迟或吞吐量——即可部署一个模型实例，Foundry 会处理底层的 GPU 拓扑，无论该实例落在单个还是多个加速器上，因此你可以从模型的角度思考和规划。

Microsoft 负责管理机器：在支持的运行时——vLLM、SGLang、TensorRT-LLM、NIM、TEI、llama.cpp——上自动进行容器更新、运行时升级和安全补丁，无需重新部署模型，而模型配置、部署行为和路由则由你掌控。

这种一致性贯穿整个开发层面——按 token 付费、预配吞吐量和托管计算共享：

• 单一端点
• 相同的 SDK
• 相同的身份验证
• 相同的可观察性
• 单一账单

开源模型与 Foundry 智能体集成的方式与前沿模型相同，因此你可以在单个智能体中混合使用不同类型的模型，无需单独集成路径。

托管计算提供：

• 全局部署——最广泛的容量和最佳定价
• 数据区域部署——数据驻留和主权

相同的代码，相同的工作流程。配额与加速器系列挂钩，因此基于 H100 系列构建的计划可以在新硬件代次上线时继续沿用。

为什么选择 Hugging Face

Hugging Face 是开放 AI 的公共广场：1500 万开发者、40 万组织以及超过 300 万个已发布的开放模型，每周都有新的前沿能力——智能体编码、视频分割、语音、嵌入——落地。它是开放模型的 GitHub，社区在其中发布权重、编写模型卡、比较评估结果并拉取模型进行实验。

开放模型在众多基准测试中不断缩小与专有模型的差距，并解锁了专有端点无法实现的功能：

• **最新技术现已开放。**领先的开放权重模型在最广泛使用的基准测试中与顶级封闭前沿模型具有竞争力。
• **深度定制。**完整权重使得微调、蒸馏、量化和 LoRA 适配成为可能——将模型定制到你的领域、你的数据以及你的延迟和成本目标。
• **你的模型，你的托管。**权重在你控制的租户内、在你的基础设施上运行，位于你的推理端点之后，带有你的身份和网络边界。
• **成本塑形。**按小时支付加速器费用，空闲时自动缩到零，并将 GPU 按具体模型进行合理调整——适用于按 token 定价难以预测的稳定、高容量或延迟敏感型工作负载。
• **版本控制。**固定特定模型版本，进行评估，进行部署，并在自己的发布节奏中前进或回滚。

但操作层面一直是个难题：发现、许可证审查、安全筛选、运行时选择、GPU 大小配置、镜像构建、CVE 补丁以及将模型部署到企业级端点之后。Hugging Face 本身不是一个企业服务化平台。Foundry 上的 Hugging Face 模型 就是这个操作层，由 Microsoft 运营。

Foundry 上的 Hugging Face 模型

Hugging Face 集合将精选的模型子集直接引入 Foundry 模型目录：

• 每周更新——随着社区发布新模型，来自 Hugging Face 生态系统的热门模型会持续添加。
• 涵盖所有模态——文本、视觉、音频和多模态：适用于聊天和智能体的 LLM 和 VLM、ASR 和语音翻译、嵌入、分割、图像生成。
• 仅限 Safetensors，无不可信代码——集合中的每个模型都经过安全筛选，并以 SafeTensors 权重格式交付，除非经过严格审查，否则不存在 trust_remote_code 执行路径。
• 为模型选择合适的运行时——LLM 使用 vLLM 和 SGLang，在适用情况下使用 TensorRT-LLM 和 NIM，嵌入使用 TEI，CPU 使用 llama.cpp——Foundry 会选择与模型匹配的引擎。

从你的角度来看，Hugging Face 集合中的开放权重模型在 Foundry 模型目录中看起来和操作起来与其他模型完全相同，而集合中的每个模型在出现在目录之前都经过了多阶段发布流水线。

精选流程

Hugging Face 和 Microsoft 通过系统化的精选流程，将 Hugging Face 生态系统中最为流行的开放权重模型引入 Microsoft Foundry——为企业环境做好生产准备：

1. 识别 Hugging Face 生态系统中的热门模型——基于社区信号、合作伙伴请求和客户需求——并选择适合企业就绪的候选模型。
2. 筛选合规性和安全性——根据 Microsoft 的企业分发策略审查模型许可证（许可证元数据会被捕获并保留在目录模型卡上），并检查代码仓库中是否存在 trust_remote_code 模式和自定义可执行代码；任何需要在加载时执行第三方 Python 代码的模型要么被修复，要么被排除。
3. 构建、扫描和发布运行时——Microsoft 在支持的运行时（vLLM、SGLang、TensorRT-LLM、NIM、TEI、llama.cpp）上构建推理容器镜像，扫描 CVE，并在签名后发布到 Microsoft 管理的容器注册表。
4. 将权重上传到安全的 Azure 存储——模型权重从 Hugging Face 拉取一次，根据发布的模型卡进行验证，并存储在提供模型服务的区域的 Microsoft 托管 Azure 存储中。
5. 验证并发布到目录——每个模型 + 运行时 + 加速器组合都经过 API 一致性测试（聊天补全、嵌入、重排序等）和性能测试（延迟、吞吐量、首 token 时间、token 间解码时间），然后将经过验证的模型及其模板、运行时镜像和权重发布到 Foundry 模型目录，并附带一键部署到托管计算的路径。

由于权重已预先放置在 Azure 存储中，运行时镜像位于 Microsoft 管理的注册表中，因此你的部署无需出站网络访问 Hugging Face Hub——你可以在私有网络内将模型部署到生产环境。

模型运行时

Foundry 上的 Hugging Face 模型由一系列由社区构建的开源推理运行时驱动——每个运行时都经过针对性选择和调优，以适应 Foundry 托管计算，并与它服务的模型架构相匹配。在所有运行时中，系统化的精选流程确保新版本和补丁能快速落地到 Foundry，并且现有模型部署会自动升级——无需你重新部署。

• vLLM——面向开放大语言模型的默认高吞吐量服务引擎，针对生产环境 GPU 工作负载进行了调优。由于 Hugging Face 是 vLLM 的直接贡献者，Transformers 库中的任何模型都可以开箱即用地在 vLLM 上运行——因此当新模型落地 Hugging Face 时，它可以在同一天内被服务在 Foundry 上，无需等待自定义集成。
• SGLang——一种面向语言和多模态模型的服务引擎，对结构化输出（JSON、正则表达式、语法约束生成）提供强大支持，这对智能体和工具使用工作负载至关重要。Hugging Face 和 SGLang 团队已为 SGLang 构建了 Transformers 后端集成，因此 Transformers 库中的任何模型都可以开箱即用地在 SGLang 上运行——并在模型落地 Hugging Face 的同一天到达 Foundry。
• 文本嵌入推理 (TEI)——面向嵌入、重排序器和序列分类模型的运行时。针对 Foundry 支持的每个 GPU 和 CPU 系列，提供了带有编译核函数的加速器特定镜像，使嵌入热点路径在 RAG 和语义搜索工作负载中保持轻量。
• llama.cpp——面向 GGUF 量化模型的 CPU 和小型 GPU 路径。适用于成本优化部署、较小模型和仅 CPU 区域，提供与 vLLM 和 SGLang 相同的 OpenAI 兼容 API。
• TensorRT-LLM 和 NIM——在 NVIDIA 硬件上使用，当 NVIDIA 的优化核函数和基于 Triton 的服务能为特定模型系列带来明显更低的延迟或更高的吞吐量时。
• hf-serve——Hugging Face 自家的多模型推理服务器，用于 LLM 和嵌入快速路径之外的模型架构（视觉、音频、分割和其他 Transformers 原生流水线），从而使集合能够以一致的服务层覆盖所有模态。

部署与评分一个开放权重模型

Foundry 模型目录中的 Hugging Face 集合是你的起点，部署只需五步：

1. 浏览目录并选择一个模型——部署向导还会显示模型 ID、部署模板 ID 和 acceleratorType，如果你通过 SDK 或 REST 编写部署脚本的话会用到这些信息。
2. 选择一个部署模板——延迟优化 vs 吞吐量优化、加速器系列、上下文长度、量化。
3. 配置实例数量——通过添加模型实例来扩展吞吐量。
4. 部署——通过门户、CLI、SDK 或 REST。
5. 评分——通过统一的 Foundry 端点，使用你现有的 SDK 进行评分。

部署模板

部署模板是第二步中的选择单位：一个命名的、版本化的资产，它固定了运行时、加速器系列和数量、上下文长度以及为良好服务该模型所需的运行时特定调整——因此选择模板是唯一需要转动旋钮来确定“我希望这个模型以何种方式运行”。

例如，qwen3-32b 提供了四个模板，部署向导会并排展示：

每个模板都已针对模型进行了预调优——运行时设置、工具调用和推理解析器、评分路径、健康探测、请求并发以及任何模型特定的上下文扩展设置均由 Microsoft 设置，任何权衡取舍都会在模板描述中内联说明。当你编写部署脚本时，只需引用该模板，Foundry 会处理其余部分。

部署 — Python SDK

from azure.identity import DefaultAzureCredential
from azure.mgmt.cognitiveservices import CognitiveServicesManagementClient

client = CognitiveServicesManagementClient(DefaultAzureCredential(), SUBSCRIPTION_ID)

deployment = client.managed_compute_deployments.begin_create_or_update(
    resource_group_name=RESOURCE_GROUP,
    account_name=ACCOUNT_NAME,
    deployment_name="qwen3-32b",
    resource={
        "sku": {"name": "GlobalManagedCompute", "capacity": 1},
        "properties": {
            "model": "azureml://registries/azure-huggingface/models/qwen--qwen3-32b/versions/1",
            "deploymentTemplate": "azureml://registries/azure-huggingface/deploymenttemplates/qwen--qwen3-32b--40k-nvidia-h100/labels/latest",
            "acceleratorType": "H100_80GB",
        },
    },
).result()

评分 — OpenAI SDK

通过统一的 Foundry 端点和 OpenAI SDK 即可访问该部署——model 字段使用你刚刚创建的部署名称：

from openai import OpenAI

api_key  = client.accounts.list_keys(RESOURCE_GROUP, ACCOUNT_NAME).key1
endpoint = f"https://{ACCOUNT_NAME}.services.ai.azure.com/openai/v1"

openai_client = OpenAI(base_url=endpoint, api_key=api_key)

completion = openai_client.chat.completions.create(
    model=deployment.name,
    messages=[{"role": "user", "content": "What