LLM2R：从大语言模型到 3D 重组器
摘要
LLM2R 将 3D 零件装配任务转化为序列建模问题，使用一个预训练的仅解码器 LLM，通过几何 token 和可学习的摘要 token，在单次非自回归推理中预测所有零件位姿，在 PartNet、PartNeXt 和 Breaking Bad 基准测试上达到了最先进的准确率。
查看缓存全文
缓存时间: 2026/10/21 10:20
论文页面 - LLM2R：从大语言模型到3D重组器
来源：https://huggingface.co/papers/2610.18604
摘要
LLM2R 将 3D 部件组装视为序列建模问题，使用预训练的仅解码器 LLM，结合几何 token 和可学习的摘要 token，在单次前向传播中预测所有部件位姿，从而提升可扩展性和准确性。
3D 部件组装旨在通过为每个部件预测刚性 SE(3) 变换 (https://huggingface.co/papers?q=SE(3)%20transform)，从一组未组装的部件中重建完整形状。由于部件的摆放通常不由其自身几何形状决定，该任务需要对整个部件集合进行推理，而现有方法依赖成对关系或迭代式的生成与验证，在部件数量较多的物体上扩展性很差。我们提出 LLM2R，将部件组装转化为序列建模问题，使用预训练的仅解码器大语言模型 (https://huggingface.co/papers?q=decoder-only%20large%20language%20model)（LLM）：Point-BERT (https://huggingface.co/papers?q=Point-BERT) 编码器和 Q-Former (https://huggingface.co/papers?q=Q-Former) 将每个部件压缩为一组几何 token (https://huggingface.co/papers?q=geometric%20tokens)，将所有部件的 token 组拼接后，经低秩适配 LoRA (https://huggingface.co/papers?q=LoRA) 微调的因果 LLM 在一次前向传播中处理整个序列。然而，因果注意力 (https://huggingface.co/papers?q=Causal%20attention) 使得部件的隐状态只能观察到排在它前面的部件。因此 LLM2R 在最后一个部件之后追加一组可学习的摘要 token (https://huggingface.co/papers?q=learnable%20summary%20tokens)：这些 token 位于所有部件之后，其状态以恒定的 token 开销聚合了整个装配信息，部件感知的位姿预测头 (https://huggingface.co/papers?q=part-aware%20pose%20head) 将每个部件的状态与这些摘要 token 融合后再预测其旋转和平移。这样一个架构同时处理语义组装和几何组装，并在单次非自回归 (https://huggingface.co/papers?q=non-autoregressive) 前向传播中预测所有位姿。LLM2R 在 PartNet 全部三个类别上取得最高的部件准确率和成功率，在 PartNeXt 上取得最佳的旋转误差、平移误差和部件准确率，在 Breaking Bad 上取得最低的平移误差和最快的推理速度——在 Breaking Bad 上仅有一个断裂专用方法更准确。其优势随部件数量增加而扩大：在 100 个部件时，LLM2R 在 Breaking Bad 上的部件准确率比 GARF 高 33.5 个百分点，在 PartNet 上比 Assembler 高 29.1 个百分点；并且能零样本迁移到未见过的类别，部件准确率比三个基线方法中最强的一个高出 16 个百分点以上。
查看 arXiv 页面 (https://arxiv.org/abs/2610.18604) · 查看 PDF (https://arxiv.org/pdf/2610.18604) · 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.18604)
在你的 agent 中获取此论文：
hf papers read 2610\.18604
还没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型 0
暂无模型链接此论文
在模型 README.md 中引用 arxiv.org/abs/2610.18604 即可从此页面链接该模型。
引用此论文的数据集 0
暂无数据集链接此论文
在数据集 README.md 中引用 arxiv.org/abs/2610.18604 即可从此页面链接该数据集。
引用此论文的 Space 0
暂无 Space 链接此论文
在 Space README.md 中引用 arxiv.org/abs/2610.18604 即可从此页面链接该 Space。
包含此论文的收藏集 0
暂无收藏集包含此论文
将此论文加入收藏集 (https://huggingface.co/new-collection) 即可从此页面链接它。
相似文章
Imagine3D-LLM：让多模态大语言模型在回答之前先想象 3D 场景
Imagine3D-LLM 提出在回答多视角空间推理问题之前，先让多模态大语言模型想象出场景的紧凑 3D 表示（从可学习的摘要 token 解码为 3D 高斯泼溅，并以光度重建损失进行监督），在多个基准测试上超越了以往的 3D 感知 MLLM 方法。
$R^2$-dLLM：通过时空冗余削减加速扩散大语言模型
R²-dLLM 引入时空冗余削减技术，在保持生成质量的同时将扩散 LLM 的解码步数最多压缩 75%，直击部署瓶颈。
用于三维框架系统自动化结构分析的智能体大语言模型
本文提出了一种基于自然语言输入的三维框架系统自动化结构分析的智能体大语言模型框架，通过多智能体流水线在十个代表性三维框架上实现了90%的准确率。
基于大语言模型的空间构建中的2.5维分解
本文提出了一种利用2.5维分解的神经符号流水线，通过将垂直坐标计算卸载至确定性执行器，提高了基于大语言模型的空间构建准确性，在基准测试和边缘硬件上均实现了高精度。
P3D-Bench：参数化3D生成与结构推理的多模态大语言模型基准测试
本文提出P3D-Bench，一个用于评估多模态大语言模型在参数化3D生成任务上的基准测试，涵盖文本到3D、图像到3D和组装到3D，并采用几何精度、语义对齐和部件级结构等指标。