用语言而非按钮控制3D虚拟角色
摘要
一个可以用自然语言描述而非按钮控制的3D虚拟角色,基于programasweights系统构建,该系统可将纯英语编译为神经程序。它在浏览器本地运行,可生成如“走路时挥手,然后跳几下”的动作序列。
我用语言构建了一个可控制的3D角色:[https://programasweights.com/avatar](https://programasweights.com/avatar) 传统上,3D虚拟角色通过预定义的按钮或脚本进行控制。在这里,你只需用纯英语描述你想要的动作——包括那些你绝不会绑定到按钮上的序列和组合,比如“走路时挥手,然后跳几下”。**工作原理:** 它基于programasweights构建,我们之前制作了这个系统,可以将纯英语描述编译成神经程序。这个虚拟角色的“导演”就是这样一个程序——运行时,它把你的句子变成一个微小的动作程序(循环、保持和平行轨道),在浏览器本地运行。该虚拟角色背后的具体程序:[https://programasweights.com/hub/9c2309c0c9019b180adc](https://programasweights.com/hub/9c2309c0c9019b180adc)(你也可以轻松构建自己的程序)。在本地使用编译后的程序只需几行代码(pip install programasweights):import programasweights as paw director = paw.function("9c2309c0c9019b180adc") # 虚拟角色的编译程序 print(director("jump twice")) # -> repeat 2 { jump }(首次调用会下载小型程序和基础模型,然后离线运行。)**调试面板:** 在URL后添加?dbg=1可打开调试面板,查看每个句子生成的精确动作程序。我对将其应用于游戏很感兴趣。NPC不再遵循固定的、人工编写的脚本,而是可以根据用户聊天和情绪即兴调整行为——模型实时编写动作程序。我认为AI应该能给我们带来更好的游戏。**代码+论文:** 推理/运行时代码已发布在[https://github.com/programasweights](https://github.com/programasweights),更多背景信息详见:https://x.com/yuntiandeng/status/2044086557330579851。如果你现在就想要完整代码,我们提交时使用的未整理版本在[https://anonymous.4open.science/r/programasweights](https://anonymous.4open.science/r/programasweights),但我们会清理并发布更好的版本。
相似文章
EvolvingAvatar: 随对话展开而自适应的交互式3D头部生成
EvolvingAvatar 引入了一个因果性3D头部生成系统,该系统使用测试时训练实时适应对话上下文,在对话场景中增强运动统计。
我创建了自己的交互式数字头像——你可以与它对话
本文描述了一位TechCrunch作者使用Synthesia的AI技术创建交互式数字头像的过程,展示了其在个性化公关和培训应用中的用途。
@simplifyinAI: 开源项目将任何LLM转化为能在浏览器中说话、移动和反应的3D角色,无需游戏引擎,……
一个开源项目能够将任何LLM转化为在浏览器中说话、移动和反应的3D角色,并具有情感状态和关系记忆,完全可定制且免费使用。
@lxfater: 想给自己做一个可动的 3D 形象,但不会 Blender?可以看看这个。Nano 做了一个工具包……
Nano(@Dstudio_ai)开源了名为 Charakuru(きゃらくる)的工具包,可结合 Tripo 与 Codex 将一张全身立绘转成可动的 VRM 虚拟形象,并将零散的建模流程整合为本地应用加 7 个 Skills 的人机协作工作流。
@DanKornas: 想要生成头像视频但不想将面部和语音数据发送到云端服务?Duix.Avatar 是一款本地 AI 工具…
Duix.Avatar 是一款本地 AI 头像工具包,能够根据视频、语音和脚本输入生成口型同步的头像视频,无需将数据发送到云端。它支持八种语言,并在 GitHub 上以社区许可证发布。