我构建的一个工具,用于生成带有功能性铰接部件的3D对象。它托管在GitHub上,且大部分与LLM无关。
摘要
一位开发者构建了一个流程,将LLM用作结构化代码编译器来生成Blender Python代码,从而生成带有功能性铰接部件的3D对象,而非单一网格。该工具开源且与LLM无关。
视频展示了我构建的流程如何生成一台3D洗衣机,它由分离的功能性部件组成(而不是单一的3D团块)。还包含铰链/插座关节,因此内部组件能够实际搅拌或旋转。我要解决的问题是:目前几乎所有的文本到3D流程都只是扩散(或类似扩散)权重生成网格团块。想要更换生成枪支上的瞄准镜?只需在提示词中更改一个词,整个或大部分内容就会从头重新生成,因为模型完全没有意识到枪支有*部件*。对这些系统来说,所有东西都是无差别的点云。我试图改变这一点。我的流程将LLM用作结构化代码编译器,而不是图像生成器。它编写原生Blender Python代码块,针对场景图中的特定节点。诀窍在于,所有内容都通过Blender的实际场景图结构编译,而不是通过像素或点云扩散。最终输出是干净的多部件GLB,保留变换节点和可用的枢轴轴。**技术栈:** 前端使用Flutter,带有Three.js视口框架,用于浏览器内渲染和节点操作。默认情况下,它会访问我托管的API,但我使其与模型无关,以便自托管。前端仓库开源:[https://github.com/RareSense/Nova3D](https://github.com/RareSense/Nova3D) 还有一些坏消息:本地模型正在进步,但在复杂变换上仍然严重产生幻觉,编造Blender的内部矩阵数学函数。我花了太多时间调试看起来正确但实际上将物体旋转到第四维度的代码。流程代码本身完全与LLM无关,但为了最佳效果,可以尝试使用BYOK的Gemini。我非常希望与比我更聪明的人合作,将其与优秀的开源候选方案结合,我自己在这方面失败了。也希望获得那些在3D生成领域尝试提示词到代码流程的人的技术反馈。**另外,有趣的是:** 有趣的生成示例:\- 波士顿动力风格的机器狗:[https://imgur.com/a/CqMYgrF](https://imgur.com/a/CqMYgrF) \- 微波炉:[https://imgur.com/a/hIqIJdr](https://imgur.com/a/hIqIJdr)
相似文章
我构建了一个工具,可以生成由独立逻辑部件组装的3D对象(例如,视频中生成的微波炉具有完整的内部组件和一扇可开关的门)
一款名为Nova3D的新型开源工具利用大语言模型(LLM)生成具有独立逻辑部件的3D对象(例如,带有内部组件和可开关门的微波炉),不同于传统的整体式AI生成器。它通过编写Blender Python代码,创建干净、模块化的GLB导出文件,适用于动画和编辑。
我构建了一种新型AI工具;它能生成由各个组成部分构成的3D物体(而不是所有3D AI生成器所生成的单一实心块)。
一种新型AI工具通过生成代码来创建3D物体,从而得到具有独立功能部件的物体,而非单一实心块。该工具免费开源,托管于GitHub。
@corelumen: https://x.com/corelumen/status/2057880730827661359
llmff v0.1.2 已发布,提供受FFmpeg启发的命令行界面,用于构建可组合的LLM推理流水线。此版本侧重于在Linux、macOS和Windows上的分发和可安装性。
ConlangCrafter:使用多跳LLM流程构造语言
ConlangCrafter是一个多跳LLM流程,通过将构造语言(conlang)创建过程分解为包括音系、形态、句法、词汇生成和翻译在内的模块化阶段,实现构造语言的自动化创建。该系统利用LLMs的元语言推理能力,结合随机性注入和自我完善来生成连贯且类型学多样的构造语言。
@oliviscusAI: 有人刚刚开源了一款桌面应用,它可以通过图像生成3D模型,并且完全本地运行。它叫Modly。…
Modly是一款开源桌面应用,可从图像生成完全纹理化的3D网格,完全在本地GPU上运行,并支持可插拔的AI模型扩展。