用语言而非按钮控制3D虚拟角色
摘要
一个可以用自然语言描述而非按钮控制的3D虚拟角色,基于programasweights系统构建,该系统可将纯英语编译为神经程序。它在浏览器本地运行,可生成如“走路时挥手,然后跳几下”的动作序列。
我用语言构建了一个可控制的3D角色:[https://programasweights.com/avatar](https://programasweights.com/avatar) 传统上,3D虚拟角色通过预定义的按钮或脚本进行控制。在这里,你只需用纯英语描述你想要的动作——包括那些你绝不会绑定到按钮上的序列和组合,比如“走路时挥手,然后跳几下”。**工作原理:** 它基于programasweights构建,我们之前制作了这个系统,可以将纯英语描述编译成神经程序。这个虚拟角色的“导演”就是这样一个程序——运行时,它把你的句子变成一个微小的动作程序(循环、保持和平行轨道),在浏览器本地运行。该虚拟角色背后的具体程序:[https://programasweights.com/hub/9c2309c0c9019b180adc](https://programasweights.com/hub/9c2309c0c9019b180adc)(你也可以轻松构建自己的程序)。在本地使用编译后的程序只需几行代码(pip install programasweights):import programasweights as paw director = paw.function("9c2309c0c9019b180adc") # 虚拟角色的编译程序 print(director("jump twice")) # -> repeat 2 { jump }(首次调用会下载小型程序和基础模型,然后离线运行。)**调试面板:** 在URL后添加?dbg=1可打开调试面板,查看每个句子生成的精确动作程序。我对将其应用于游戏很感兴趣。NPC不再遵循固定的、人工编写的脚本,而是可以根据用户聊天和情绪即兴调整行为——模型实时编写动作程序。我认为AI应该能给我们带来更好的游戏。**代码+论文:** 推理/运行时代码已发布在[https://github.com/programasweights](https://github.com/programasweights),更多背景信息详见:https://x.com/yuntiandeng/status/2044086557330579851。如果你现在就想要完整代码,我们提交时使用的未整理版本在[https://anonymous.4open.science/r/programasweights](https://anonymous.4open.science/r/programasweights),但我们会清理并发布更好的版本。
相似文章
@simplifyinAI: 开源项目将任何LLM转化为能在浏览器中说话、移动和反应的3D角色,无需游戏引擎,……
一个开源项目能够将任何LLM转化为在浏览器中说话、移动和反应的3D角色,并具有情感状态和关系记忆,完全可定制且免费使用。
@DanKornas: 想要生成头像视频但不想将面部和语音数据发送到云端服务?Duix.Avatar 是一款本地 AI 工具…
Duix.Avatar 是一款本地 AI 头像工具包,能够根据视频、语音和脚本输入生成口型同步的头像视频,无需将数据发送到云端。它支持八种语言,并在 GitHub 上以社区许可证发布。
AVTR-1 实时开放权重模型
AVTR-1 是一个用于实时生成AI虚拟形象的开放权重模型,现已开源。
开源了一个用于JS应用的动画代理头像包
一个面向JavaScript应用的开源动画代理头像包已发布。
EmpaAva:一个开源的智能体3D虚拟形象共情实时聊天机器人
本文介绍了EmpaAva,据我们所知,这是首个开源的智能体3D虚拟形象共情聊天机器人,通过三智能体LLM架构实现实时的、面对面的多模态共情,在情感理解、响应质量和视听一致性方面超越了基线系统。