用语言而非按钮控制3D虚拟角色

Reddit r/LocalLLaMA 工具

摘要

一个可以用自然语言描述而非按钮控制的3D虚拟角色,基于programasweights系统构建,该系统可将纯英语编译为神经程序。它在浏览器本地运行,可生成如“走路时挥手,然后跳几下”的动作序列。

我用语言构建了一个可控制的3D角色:[https://programasweights.com/avatar](https://programasweights.com/avatar) 传统上,3D虚拟角色通过预定义的按钮或脚本进行控制。在这里,你只需用纯英语描述你想要的动作——包括那些你绝不会绑定到按钮上的序列和组合,比如“走路时挥手,然后跳几下”。**工作原理:** 它基于programasweights构建,我们之前制作了这个系统,可以将纯英语描述编译成神经程序。这个虚拟角色的“导演”就是这样一个程序——运行时,它把你的句子变成一个微小的动作程序(循环、保持和平行轨道),在浏览器本地运行。该虚拟角色背后的具体程序:[https://programasweights.com/hub/9c2309c0c9019b180adc](https://programasweights.com/hub/9c2309c0c9019b180adc)(你也可以轻松构建自己的程序)。在本地使用编译后的程序只需几行代码(pip install programasweights):import programasweights as paw director = paw.function("9c2309c0c9019b180adc") # 虚拟角色的编译程序 print(director("jump twice")) # -> repeat 2 { jump }(首次调用会下载小型程序和基础模型,然后离线运行。)**调试面板:** 在URL后添加?dbg=1可打开调试面板,查看每个句子生成的精确动作程序。我对将其应用于游戏很感兴趣。NPC不再遵循固定的、人工编写的脚本,而是可以根据用户聊天和情绪即兴调整行为——模型实时编写动作程序。我认为AI应该能给我们带来更好的游戏。**代码+论文:** 推理/运行时代码已发布在[https://github.com/programasweights](https://github.com/programasweights),更多背景信息详见:https://x.com/yuntiandeng/status/2044086557330579851。如果你现在就想要完整代码,我们提交时使用的未整理版本在[https://anonymous.4open.science/r/programasweights](https://anonymous.4open.science/r/programasweights),但我们会清理并发布更好的版本。
查看原文

相似文章

Avatar V:可规模化的视频参考虚拟化身视频生成

Hugging Face Daily Papers

Avatar V 是一个生产级框架,用于生成行为可识别的虚拟化身视频,基于完整视频参考,引入稀疏参考注意力和运动表示流,在身份保持和唇形同步方面达到最先进水平。