@tom_doerr: 从音频生成高保真3D面部动画，具有准确的唇形同步和细腻的情感表达…

从音频源生成高保真3D面部动画，实现精准的唇形同步与细腻的情感表达。https://t.co/JhPGY2upsj https://t.co/KdTksnfv2T — # NVIDIA/Audio2Face-3D 源：https://github.com/NVIDIA/Audio2Face-3D # NVIDIA Audio2Face-3D 替代文本 Audio2Face-3D 是一项先进技术，可从音频源生成高保真3D面部动画，支持预录制文件与实时流。该系统分析语音数据，合成精细逼真的发声动作，包括下颌、舌头、眼睛的精确同步运动，以及面部皮肤的微妙形变。这一综合性方法产生两项关键输出： - 基于音素分析的精准唇形同步。 - 从语音语调推断出的细腻情感表达。两者共同构成与源音频匹配的完整、逼真的面部表演。 Audio2Face-3D 通过直接网格变形、关节变换或混合形状权重来驱动角色的面部表现。本页面是所有官方 Audio2Face-3D 技术与工具的中心枢纽，包括预训练模型、开发 SDK、面向 Autodesk Maya 和 Unreal Engine 5 的插件，以及示例数据集。 ## Audio2Face-3D 套件 Audio2Face-3D 套件分布在多个平台。该套件提供以下组件： - NVIDIA 仓库： 获取源代码、辅助脚本、打包构建及文档。 - Hugging Face Hub： 下载预训练模型和示例训练数据集。 ## NVIDIA 仓库 软件包 用途 格式 许可证信息 Audio2Face-3D SDK 在设备或云中创作和运行面部动画。 源代码 - C++ & Python MIT 了解更多 Audio2Face-3D 训练框架 用您的数据创建 Audio2Face-3D 模型的框架（v1.0）。 源代码 - Python & Docker 容器 Apache 了解更多 Maya ACE (MACE) 本地执行的动画创作插件（v2.0）。 Autodesk Maya 插件模块、源代码 C++ 和 Python MIT 了解更多 Unreal Engine 5 插件 适用于 UE 5.5 和 UE 5.6 游戏引擎工作流的 Unreal Engine 5 插件（v2.5）。 Unreal Engine (.uplugin) & 源代码 C++ MIT 了解更多 Audio2Face-3D NIM 简化 Audio2Face-3D 模型的大规模部署。 Docker 容器 NVIDIA 软件许可协议及 AI 产品特定条款 了解更多 ## Hugging Face Hub 软件包 用途 格式 许可证 链接 Audio2Face-3D 模型 用于生成唇形同步的回归（v2.3）和扩散（v3.0）预训练模型。 开放权重 / onnx-trt Nvidia 开放模型 v3.0 Mark v2.3 Claire v2.3.1 James v2.3.1 Audio2Emotion 模型 从音频推断情感状态的生产（v2.2）和实验（v3.0）模型。 开放权重 / onnx-trt 自定义（仅限与 Audio2Face 一同使用） v2.2 v3.0 Audio2Face-3D 训练示例数据 用于入门训练框架的示例数据集。 音频文件、Blendshape 数据、动画几何缓存、几何文件、变换文件。 自定义（仅限评估） Claire 数据集 v1.0.0 ## Audio2Face-3D SDK 目标用户： C++ 开发者、工具与管线工程师 链接： GitHub 上的 A2X SDK (https://github.com/NVIDIA/Audio2Face-3D-SDK) Audio2Face-3D SDK 是一个强大的 C++ 库，专为需要将 Audio2Face-3D 实时推理能力直接集成到自有软件中的开发者设计。它提供了必要的工具，用于构建自定义应用程序、插件或批处理工具，从而利用任何兼容的 Audio2Face-3D 模型从音频源生成高质量的面部动画数据。 主要特性 - 跨平台 C++ 库：确保在不同操作系统上具有广泛兼容性。 - 实时性能：针对低延迟推理高度优化，适用于交互式应用。 - 硬件加速：利用 NVIDIA GPU 实现最高性能，同时提供 CPU 回退以支持更广泛的硬件。 最佳使用场景 - 游戏开发：为游戏内角色对话和过场动画集成实时面部动画。 - 自定义应用程序：为专有内容创作工具添加 Audio2Face-3D 功能。 - 生产部署：为游戏、电影或广播构建可扩展的自动化面部动画管线。 ## Audio2Face-3D 训练框架 目标用户： 3D 动画师、动画技术总监与艺术总监、Python 脚本编写者、机器学习研究人员 链接： GitHub 上的 Audio2Face-3D 训练框架 (https://github.com/NVIDIA/Audio2Face-3D-training-framework) Audio2Face-3D 训练框架提供了从您自己的数据集创建自定义高性能面部动画模型的完整工具集。这也是 NVIDIA 用于训练官方 Mark、Claire 和 James 预训练模型的同一强大框架。通过在您自己角色的唇形同步动画上进行训练，您可以生成完美捕捉所需表演风格、个性或语言的模型。随附的示例数据集可帮助用户理解从数据准备到完整训练模型的整个工作流程。 主要特性 - 自定义模型训练：从零开始在您的专有数据上训练独特的 Audio2Face-3D 模型。 - 灵活环境：基于 Python 的框架，通过 Docker 分发，确保一致且可重现的设置。 - 多语言支持：原生支持在单语言或多语言自定义数据集上训练。 - 标准化输出：导出训练好的模型及 JSON 模型卡，以便与其他 Audio2Face 工具无缝集成。 最佳使用场景 - 开发能够捕捉角色特定个性和表演风格的独特模型。 - 创建特定语言模型以支持多语言对话和本地化。 - 构建高度专业化的模型以满足独特的研究、管线或生产需求。 ## Maya ACE 插件 (MACE) Maya ACE 用户界面 目标用户： 3D 动画师、动画技术总监、Python 脚本编写者 链接： GitHub 上的 Maya ACE (https://github.com/NVIDIA/Maya-ACE) MACE 是一个综合性插件，将 Audio2Face-3D 的全部功能直接集成到 Autodesk Maya 环境中。它提供了一个直观的用户界面，用于从音频源生成实时面部动画，并灵活输出为直接网格变形、对象变换或混合形状权重。一个关键特性是，它能通过 JSON 模型卡加载任何兼容的 Audio2Face 模型，同时支持预训练模型和自定义训练模型。对于高级集成，插件的节点可在 Maya 中编辑，并提供了示例脚本演示如何扩展其功能。 主要特性 - 实时反馈：直接在 Maya 视口中生成和预览面部动画。 - 灵活推理：支持在用户机器上进行本地推理，或通过连接到 Audio2Face-3D 微服务进行远程推理。 - Audio2Face-3D 模型支持：使用 JSON 模型卡加载任何兼容的 Audio2Face-3D 模型。 - 生产就绪导出：将最终动画导出为原生 Maya 关键帧或 FBX 格式，以便在其他应用中使用。 - 面向艺术家的用户界面：完全集成到 Maya UI 中，标准操作无需编码。 最佳使用场景 - 3D 动画师：快速创建高质量面部动画并迭代表演。 - 技术美工：创建和测试推理配置，并将 Audio2Face-3D 集成到工作室管线中。 - 导演与总监：快速进行预可视化并实时审阅动画对话。 - 动画管线：创建用于批处理管线或 Audio2Face-3D NIM 部署的配置文件。 ## Audio2Face-3D Unreal Engine 5 插件 目标用户： 使用 Unreal Engine 5 的游戏开发者 链接： * ACE Unreal 5.6 插件 (https://developer.nvidia.com/downloads/assets/ace/nv_ace_reference-ue5.6-v2.5.0rc3.zip) * ACE Unreal 5.5 插件 (https://developer.nvidia.com/downloads/assets/ace/nv_ace_reference-ue5.5-v2.5.0rc3.zip) * ACE Unreal 5.4 插件 (https://developer.nvidia.com/downloads/assets/ace/nv_ace_reference-ue5.4-v2.4.0.zip) * Audio2Face-3D 3.0 模型插件 (https://developer.nvidia.com/downloads/assets/ace/ace_3.0_a2f_models.zip) * Audio2Face-3D 2.3 模型插件 (https://developer.nvidia.com/downloads/assets/ace/ace_2.5_v2.3_a2f_models.zip) * Unreal 示例项目 (https://developer.nvidia.com/downloads/assets/ace/aceunrealsample-1.0.0.7z) Audio2Face-3D 的 Unreal Engine 5 插件将实时的 AI 驱动面部动画直接引入您的游戏开发和虚拟制作工作流中。它通过蓝图节点集成到编辑器中，使美术师能够轻松将动画数据连接到任何角色的面部绑定。随附的综合性示例项目展示了完整的设置流程，包括针对 Epic Games 的 MetaHuman 的预配置映射。此解决方案需要安装两个组件：核心的 ACE Unreal 插件和 Audio2Face-3D 模型插件，如上所列。 主要特性 - 实时动画：直接从音频源在 Unreal Engine 编辑器内驱动角色面部绑定。 - 蓝图集成：通过蓝图提供面向美术师的工作流，标准使用无需 C++ 编码。 - 灵活推理：支持本地机器推理和远程服务器推理。 - MetaHuman 就绪：示例项目演示了如何绑定和动画化 MetaHuman 角色。 - 可扩展源代码：提供完整的 C++ 源代码，供希望修改或扩展插件功能的开发者使用。 最佳使用场景 - 游戏开发者：为 NPC 和玩家角色创建动态的、音频驱动的面部动画。 - 虚拟制作与过场动画：为实时电影制作和预可视化快速生成面部表演。 ## Audio2Face-3D NIM 目标用户： Linux 系统管理员、云与 DevOps 工程师 链接： build.nvidia.com 上的 A2F NIM (https://build.nvidia.com/nvidia/audio2face-3d) Audio2Face NIM（NVIDIA 推理微服务）是一个可扩展的容器化微服务，专为大规模和多用户部署而设计。它通过高性能的 gRPC 协议暴露 Audio2Face-3D 推理引擎的全部功能，允许多个客户端应用程序同时连接并生成实时面部动画。该架构适用于多种生产工作流，从驱动交互式网络虚拟角色到作为整个工作室的集中化动画工具。 主要特性 - 大规模部署：构建用于在苛刻的生产环境中处理并发推理请求。 - 多流支持：能够处理针对不同用户或应用程序的多个同步音频流。 - 高性能通信：利用 gRPC 协议实现低延迟、稳健的客户端-服务器通信。 - 集中化资源：允许将强大的 GPU 硬件集中在服务器上，使性能较弱的客户端机器也能访问 Audio2Face。 最佳使用场景 - 网络与云应用：驱动交互式基于网络的数字人和云原生服务。 - 多平台运行时：为游戏和跨平台（例如移动端或游戏主机）应用程序中的实时动画推理提供后端。 - 工作室动画服务：为动画师团队创建集中的 Audio2Face-3D 服务，使该技术更易于普及。 - 自动化批处理：作为高吞吐量渲染服务，在大型生产管线中生成数千个动画。