Openspline —— 在商用 GPU 上托管实时对话数字人头像（RTX4090 上 90+ FPS）

Reddit r/LocalLLaMA 工具
open-source talking-avatar lipsync realtime-generation voice-ai gpu-inference

摘要

Openspline 是一个开源的实时数字人头像层，可通过 5 行代码接入现有语音 AI 智能体，在本地 GPU 上生成口型同步的实时视频，RTX4090 上可达 90+ FPS。

大家好，我正在开发一个新项目叫 Openspline，这是一个为现有语音 AI 智能体提供服务的开源头像层。只需选择一张图片，你就可以创建一个实时对话的数字人头像，口型同步的视频完全在你的本地 GPU 上生成。只需 5 行代码即可集成任何现有的语音 AI 智能体。Lite 模型在 NVIDIA RTX4090 GPU 上可以达到 90+ FPS。虽然项目仍处于非常早期的阶段，但效果看起来非常有前景。 Github：github.com/openspline/openspline 在线试玩：openspline.dev 附注：抱歉用了一张没睡醒的照片，现在是凌晨 5 点 10 分，昨晚通宵没睡 :P
查看原文

相似文章

LiveAnimate：实时稳定长时流式人体动画

Hugging Face Daily Papers

LiveAnimate 提出了一个14B参数的视频扩散Transformer，通过PR-Sink注意力机制实现了实时、长时、姿态驱动的人体动画，具有稳定流式生成和恒定内存占用。在两个H100 GPU上实现了19.63 FPS的推理速度，在长达三分钟的流中保持质量。

GPT Live 克隆版在 RTX 3060 上

Reddit r/LocalLLaMA

一位开发者测试了其本地语音助手项目 Fulloch，该项目使用 RTX 3060 上的 Qwen 模型来复制 GPT Live 的功能，使用开源工具展现了令人印象深刻的性能。