将您的 Muse 带入生活（5分钟阅读）

# 将您的缪斯化为现实 来源：https://research.meta.ai/blog/bringing-your-muse-to-life 今天，我们推出 Muse Realtime Avatar——这是我们最先进的化身技术，能够将 Muse Realtime Voice 转化为富有表现力、可交互的虚拟形象。 通过参考媒体的条件化，Muse Realtime Avatar 可以让任何角色参与实时对话。一张照片肖像能通过细微的表情变化做出回应，而一幅全身插画则能在说话时配合手势和姿势变化。动物和日常物品在不失去自身特色的同时也能变得富有表现力。逐帧来看，化身的外貌和行为方式在对话的每一回合中都能保持连贯。 除了“会说话的头像”，Muse Realtime Avatar 还能实时地让任何图像动起来，实现富有表现力的面部、手部及全身动作。 ## 从智能到实时存在 Muse Realtime Voice 和 Muse Realtime Avatar 共同构成一个流式系统，连接了智能、语音与化身。Muse Realtime Voice 提供对话智能，并生成一串语音令牌（VQs），其中包含了说话的内容和表达方式。音频解码器将这些令牌转换为语音，而 Muse Realtime Avatar 则消费同一令牌流，生成相应的视觉表演。共享此令牌流确保了语音、口型动作和表情的同步。 Muse Realtime Avatar 是一个音频驱动的扩散变换器（Diffusion Transformer），其条件包括语音令牌流、参考媒体以及一个近期视频潜变量的滚动窗口。它以短小的因果块形式生成视频。每个块完成后，其最新生成的潜变量会作为下一个块的运动上下文，带着化身的外观和行为方式向前传递，同时将计算量限制在可控范围内，使得生成过程可以随对话持续进行。 图示显示用户语音通过 Muse Realtime Voice 流向音频解码器和 Muse Realtime Avatar，后者结合输入语音令牌、参考媒体和生成的上下文，产出同步的语音和富有表现力的视频。 Muse Realtime Avatar 将流式语音 VQs 转化为同步视频，并携带生成的上下文以在整个对话过程中保持连续性。 ## 实时无限视频生成 实时流媒体必须同时解决两个问题：生成视频的速度要足够快以实现实时交互，并且在整个对话过程中保持视觉一致性，避免误差累积。 我们从一个高质量的双向教师模型出发，通过自强制和分布匹配蒸馏，生成了一个具有固定长度 KV 缓存的因果学生模型。自强制允许学生模型在自身的生成上下文上进行训练，教导它在小误差随时间累积时抵抗漂移，匹配其在推理时遇到的条件。 教师模型使用 40 步扩散和三分支无分类器引导（CFG），每一步需要三次模型传递，每个块总计 120 次模型评估。我们精心调校的方案，将扩散过程和 CFG 的效果共同蒸馏到一个无引导的两步学生模型中。综合这些技术，学生模型仅需两次无引导评估，就能复现教师模型经过 120 次引导评估逐步精炼的效果，实现了 60 倍的缩减，同时紧密保持了教师模型的质量。 折线图比较两步学生模型与 120 步教师模型。人类偏好从 45% 提升至 55%，且学生模型使用的神经函数评估次数减少了 60 倍。 蒸馏将每个块的推理评估从 120 次减少到 2 次神经函数评估，实现 60 倍缩减，同时在整体偏好上近乎平分秋色。 ## 顶尖的化身体验 为了解 Muse Realtime Avatar 在实时对话中的表现，我们将其与两大领先的商用化身系统——Runway Characters (https://runway.com/product/characters) 和 HeyGen LiveAvatar (https://www.liveavatar.com/) 进行了比较，使用的是每个产品的原生实时通话体验。评分员使用匹配的化身身份，与每个系统进行了两到三分钟的对话，然后根据视觉质量、同步性、角色一致性、行为举止等多个维度进行比较。下图报告了评分员更常选择 Muse Realtime Avatar 的整体偏好情况。 实时评估图表显示，Muse Realtime Avatar 在与 Runway Characters 的比较中以 78% 对 22% 获得偏好，在与 HeyGen LiveAvatar 的比较中以 88% 对 12% 获得偏好，并展示了在面部表现力、动作自然度、口型同步、角色保持和行为举止方面的偏好结果。 评分员在整体上及所有评估维度中均更偏好 Muse Realtime Avatar。与 Runway Characters 在行为举止方面的比较结果，在统计上与势均力敌无异。 ## 在 Meta 规模下实现亚秒级延迟服务 Muse Realtime Avatar 在实时对话展开时持续生成化身视频。要在 Meta 规模下交付这种体验，需要同时满足交互式低延迟和高并发的要求。为此，我们从头开始重新设计了 Meta 的实时 AI 推理栈，并将其与一个为高度优化的实时视频推理和服务构建的内部定制引擎相结合。 具有内存感知位置编码的持久化 KV 缓存，使我们能够在解码时智能地跨块复用上下文。缓存感知路由和延迟感知的动态批处理，高效地分配并发会话。四比特量化感知训练在降低推理成本的同时保持了质量，而融合内核和 NVIDIA CUDA Graph 捕获则减少了内存流量和调度开销。我们与 NVIDIA 合作进行了多项模型优化，以最小化模型前向传播的整个系统成本，包括底层基础设施在内，都经过了端到端的优化，以确保流畅的用户体验。 Muse Realtime Avatar 以每秒 25 帧的速度流式传输 448x768 竖屏视频，延迟约为 870 毫秒（从用户话轮结束到收到同步语音视频响应第一字节的时间）。在单个 GB200 上运行单个会话时，每个生成步骤产出八帧，对应 320 毫秒的播放时长，耗时 20 毫秒，相当于每帧约 2.5 毫秒的模型计算时间。 上述优化结合语音与视频间的智能协调，使服务容量相对于两步 BF16 基线提升了 8 倍，可在单个 GB200 上支持 12 路并发实时视频生成会话。 浏览与 Muse Realtime Avatar 的对话，体验交互式、亚秒级延迟的交付。 ## 负责任地构建具身智能 我们在整个体验中实施严格的安全要求，以降低滥用风险并保护用户。为了使生成的媒体可追溯，Muse Realtime Avatar 使用 Meta Video Seal (https://aidemos.meta.com/videoseal/) 在生成的整个视频中嵌入持久、不可见的水印，且不会给实时体验增加延迟。随着具身智能的发展，我们将持续加强这些保护措施。本博客文章中的所有示例均用于展示模型能力，并不全部代表 Muse 应用中可用的化身。Muse 适用于 18 岁以上用户。