我构建的一个工具,用于生成带有功能性铰接部件的3D对象。它托管在GitHub上,且大部分与LLM无关。
摘要
一位开发者构建了一个流程,将LLM用作结构化代码编译器来生成Blender Python代码,从而生成带有功能性铰接部件的3D对象,而非单一网格。该工具开源且与LLM无关。
视频展示了我构建的流程如何生成一台3D洗衣机,它由分离的功能性部件组成(而不是单一的3D团块)。还包含铰链/插座关节,因此内部组件能够实际搅拌或旋转。我要解决的问题是:目前几乎所有的文本到3D流程都只是扩散(或类似扩散)权重生成网格团块。想要更换生成枪支上的瞄准镜?只需在提示词中更改一个词,整个或大部分内容就会从头重新生成,因为模型完全没有意识到枪支有*部件*。对这些系统来说,所有东西都是无差别的点云。我试图改变这一点。我的流程将LLM用作结构化代码编译器,而不是图像生成器。它编写原生Blender Python代码块,针对场景图中的特定节点。诀窍在于,所有内容都通过Blender的实际场景图结构编译,而不是通过像素或点云扩散。最终输出是干净的多部件GLB,保留变换节点和可用的枢轴轴。**技术栈:** 前端使用Flutter,带有Three.js视口框架,用于浏览器内渲染和节点操作。默认情况下,它会访问我托管的API,但我使其与模型无关,以便自托管。前端仓库开源:[https://github.com/RareSense/Nova3D](https://github.com/RareSense/Nova3D) 还有一些坏消息:本地模型正在进步,但在复杂变换上仍然严重产生幻觉,编造Blender的内部矩阵数学函数。我花了太多时间调试看起来正确但实际上将物体旋转到第四维度的代码。流程代码本身完全与LLM无关,但为了最佳效果,可以尝试使用BYOK的Gemini。我非常希望与比我更聪明的人合作,将其与优秀的开源候选方案结合,我自己在这方面失败了。也希望获得那些在3D生成领域尝试提示词到代码流程的人的技术反馈。**另外,有趣的是:** 有趣的生成示例:\- 波士顿动力风格的机器狗:[https://imgur.com/a/CqMYgrF](https://imgur.com/a/CqMYgrF) \- 微波炉:[https://imgur.com/a/hIqIJdr](https://imgur.com/a/hIqIJdr)
相似文章
我构建了一个工具,可以生成由独立逻辑部件组装的3D对象(例如,视频中生成的微波炉具有完整的内部组件和一扇可开关的门)
一款名为Nova3D的新型开源工具利用大语言模型(LLM)生成具有独立逻辑部件的3D对象(例如,带有内部组件和可开关门的微波炉),不同于传统的整体式AI生成器。它通过编写Blender Python代码,创建干净、模块化的GLB导出文件,适用于动画和编辑。
构建了一个代理循环,其中LLM编写Python代码以生成可动3D CAD模型。您可以固定一个部件进行编辑。
构建了一个代理循环,其中LLM编写Python代码以生成可动3D CAD模型,并可固定一个部件进行编辑。
我构建了一种新型AI工具;它能生成由各个组成部分构成的3D物体(而不是所有3D AI生成器所生成的单一实心块)。
一种新型AI工具通过生成代码来创建3D物体,从而得到具有独立功能部件的物体,而非单一实心块。该工具免费开源,托管于GitHub。
我构建了一个用于AI代理的2.5D可视化编译器:它将拓扑与几何分离,使LLM不再生成杂乱的图表。
一个用Go编写的开源2.5D图表引擎,它将拓扑与几何分离,使LLM能够生成清晰的架构图,而不会出现空间幻觉。
用于三维框架系统自动化结构分析的智能体大语言模型
本文提出了一种基于自然语言输入的三维框架系统自动化结构分析的智能体大语言模型框架,通过多智能体流水线在十个代表性三维框架上实现了90%的准确率。