BrickAnything：基于几何条件的可构建砖块生成与结构感知标记化

# BrickAnything：基于几何约束的可搭建砖结构生成与结构感知分词技术
来源：https://arxiv.org/html/2605.26182
倪正阳¹,²,³,\* 闫峰¹,²,³,\* 郭宇¹,²,³ 王飞¹,²,³,†  
¹西安交通大学 ²人机混合增强智能全国重点实验室 ³人工智能与机器人研究所

###### 摘要

从三维形状生成物理可搭建的砖结构不仅需要几何重建：输出还必须满足离散零件约束和结构稳定性。现有的砖结构生成方法要么依赖启发式优化——当目标三维形状在预定义约束下无法容纳可行结构时，该方法可能失效；要么生成砖块序列，却不显式建模底层三维几何和装配关系。本文提出BrickAnything，一个基于几何约束的自回归框架，能够从多种三维表示生成可搭建的砖结构。BrickAnything采用点云作为统一的几何接口，预测砖块序列，在装配约束下重建目标形状。为了建模砖块间的结构依赖关系，我们引入了一种结构感知的树形分词方案，通过局部附着关系来表示砖结构。这种形式使序列生成更符合物理构建过程，并减少无效中间状态。我们进一步引入基于偏好的对齐后训练、有效性约束解码和自适应回滚，以改善可搭建性目标（如稳定性和几何保真度）。大量实验表明，BrickAnything能生成几何上忠实且物理上可实现的砖结构，并且与常规排序策略相比，所提出的分词方案有效减少了回滚和重生成。

## 1 引言

基于离散砖块的结构为构建三维物体提供了一种物理可实现且模块化的表示，连接了数字几何和实际装配。与传统的三维表示（如网格[52 (https://arxiv.org/html/2605.26182#bib.bib1),46 (https://arxiv.org/html/2605.26182#bib.bib4),5 (https://arxiv.org/html/2605.26182#bib.bib2),49 (https://arxiv.org/html/2605.26182#bib.bib3),39 (https://arxiv.org/html/2605.26182#bib.bib6),23 (https://arxiv.org/html/2605.26182#bib.bib5)]、点云[42 (https://arxiv.org/html/2605.26182#bib.bib7),15 (https://arxiv.org/html/2605.26182#bib.bib11),16 (https://arxiv.org/html/2605.26182#bib.bib12),35 (https://arxiv.org/html/2605.26182#bib.bib8),37 (https://arxiv.org/html/2605.26182#bib.bib9),51 (https://arxiv.org/html/2605.26182#bib.bib10)]、高斯溅射[18 (https://arxiv.org/html/2605.26182#bib.bib13),12 (https://arxiv.org/html/2605.26182#bib.bib14),3 (https://arxiv.org/html/2605.26182#bib.bib16),17 (https://arxiv.org/html/2605.26182#bib.bib15)]或隐式场[27 (https://arxiv.org/html/2605.26182#bib.bib18),28 (https://arxiv.org/html/2605.26182#bib.bib19),47 (https://arxiv.org/html/2605.26182#bib.bib20),8 (https://arxiv.org/html/2605.26182#bib.bib21)]）不同，砖块组装受到严格的组合和结构约束。生成的砖结构不仅需要逼近目标几何，还必须满足有效的零件兼容性、砖块间连接性和结构稳定性。这种几何保真度与物理可搭建性的结合，使砖块生成成为一个根本不同且更具挑战性的问题，超越了常规三维内容合成。

现有的砖结构生成方法可大致分为生成式方法和启发式或搜索式方法。最近的生成模型，如BrickGPT[32 (https://arxiv.org/html/2605.26182#bib.bib22)]、LEGO®-Maker[13 (https://arxiv.org/html/2605.26182#bib.bib23)]和BrickNet[19 (https://arxiv.org/html/2605.26182#bib.bib24)]，将砖块构建表述为序列预测问题，能够灵活且富有表现力地生成复杂组装体。然而，这些方法通常依赖文本或图像等高级输入，不提供显式的三维几何约束。因此，生成的结构主要受语义先验或二维视觉线索引导，难以确保准确的空间配置和对目标形状的忠实重建，尤其是对于几何复杂的物体。另一方面，启发式或搜索式方法，包括Image2Lego[21 (https://arxiv.org/html/2605.26182#bib.bib25)]和Legolization[25 (https://arxiv.org/html/2605.26182#bib.bib26)]，通过将砖块组装表述为组合优化问题，显式融入几何和结构约束。虽然这些方法能产生物理上可行的结构，但它们通常依赖于固定的目标表示和启发式或搜索式优化策略。这在目标几何在离散砖块空间中不可直接实现时限制了其灵活性，并且随着搜索空间增长，计算复杂度很高。这自然引出一个问题：我们能否设计一个统一的砖块生成框架，显式利用三维几何、适应多种输入表示，并以更灵活有效的方式生成可搭建结构？

为解决此问题，我们提出BrickAnything，一个基于几何约束的可搭建砖块生成的统一框架。我们采用点云作为模态无关的中间表示，使得多种三维输入能映射到统一的几何接口。点云提供显式空间信息，同时易于从多种三维模态推导，使其成为几何约束生成的天然接口。

基于这种显式三维几何，我们将砖块构建表述为一个自回归序列生成问题。BrickAnything的关键是一个结构感知的树形分词方案。我们的分词不将砖块组装仅表示为空间排序的序列，而是根据局部附着关系组织砖块。这种表示更贴合物理构建过程，产生更紧凑的序列，并在生成过程中显式体现砖块间的结构依赖。

基于此分词，我们进一步提出一个可搭建性感知的奖励函数，联合衡量结构稳定性和几何保真度。该奖励用于构建直接偏好优化（DPO）的偏好对，使模型能够优化仅靠似然训练难以捕获的可搭建性相关目标。在推理阶段，我们还针对提出的树形分词引入了一种轻量级父感知回滚策略。当检测到不稳定砖块时，生成过程回滚到树序列中的父砖块，并重新生成后续结构。这种简单机制有效提高了自回归砖块生成的鲁棒性。

通过大量实验，我们证明BrickAnything在几何保真度和可搭建性方面均优于常规砖块生成基线。特别是，我们的结构感知分词显式保留了局部附着关系，显著减少了推理过程中的回滚和重生成。我们总结贡献如下：

- • 我们提出BrickAnything，一个统一的几何约束可搭建砖块生成框架。通过采用点云作为模态无关的中间表示，BrickAnything能够从多种输入模态实现显式三维引导生成。
- • 我们提出一种用于砖块结构的结构感知树形分词方案。不同于仅依赖全局空间排序，我们的表示根据局部附着关系组织砖块，在自回归生成过程中显式建模父子装配依赖。
- • 我们提出一个可搭建性感知的奖励函数，联合衡量结构稳定性和几何保真度，并用其构建直接偏好优化（DPO）的偏好对，使模型能够优化超出似然训练的可搭建性相关目标。
- • 我们设计了一种针对所提出树形分词的轻量级父感知回滚策略。当检测到不稳定砖块时，生成过程回滚到其结构相关的父砖块，并重新生成后续子结构，提高了推理鲁棒性。

## 2 相关工作

### 2.1 砖块结构生成

从参考三维形状生成砖块结构已在先前工作中得到广泛研究[25 (https://arxiv.org/html/2605.26182#bib.bib26),40 (https://arxiv.org/html/2605.26182#bib.bib27)]。早期方法将此任务表述为受手工启发式或搜索策略引导的组合构造问题。这些方法通常强制约束如结构连接性、稳定性和高效砖块使用，并常依赖顺序规划或启发式搜索来组装重建目标几何的砖块。虽然在产生物理上可行的设计方面有效，但它们通常假设输入形状可以直接用离散砖块实现。因此，当给定砖块集没有可行组装方案时——即目标几何在规定的砖块类型、连接规则和稳定性约束下无法构建——这些方法会失败。此外，对启发式规则或搜索策略的依赖导致高计算成本和有限的可扩展性。

最近基于学习的方法探索了使用自回归模型的生成式砖块建模[32 (https://arxiv.org/html/2605.26182#bib.bib22),19 (https://arxiv.org/html/2605.26182#bib.bib24),13 (https://arxiv.org/html/2605.26182#bib.bib23)]。BrickGPT[32 (https://arxiv.org/html/2605.26182#bib.bib22)]通过顺序预测砖块从文本提示生成物理稳定且可搭建的砖块结构，同时在推理过程中强制有效性和物理约束。BrickNet[19 (https://arxiv.org/html/2605.26182#bib.bib24)]通过引入图支持的连接表示和大规模人工设计的LDraw数据集，进一步扩展了自回归砖块生成，使其能建模更多样的零件类型和连接语义。LEGO®-Maker[13 (https://arxiv.org/html/2605.26182#bib.bib23)]进一步探索了图像约束的LEGO®模型生成，使用多种砖块类型的自回归框架，但其实验主要集中于有限的对象类别。尽管有这些进展，现有基于学习方法主要受文本描述或二维视觉观察约束，不提供显式且无歧义的三维几何约束。因此，它们可能难以忠实重建复杂目标几何，或生成与输入三维形状紧密对齐的结构有效砖块结构。这促使我们提出一种统一的几何约束表述，直接使用三维形状信息，同时保留砖块组装的可搭建性约束。

### 2.2 用于三维生成的自回归模型

自回归模型通过将生成分解为序列化令牌预测，已成为建模结构化数据的有效范式[43 (https://arxiv.org/html/2605.26182#bib.bib28)]。继其在语言[33 (https://arxiv.org/html/2605.26182#bib.bib29),1 (https://arxiv.org/html/2605.26182#bib.bib30)]和图像生成[31 (https://arxiv.org/html/2605.26182#bib.bib31),4 (https://arxiv.org/html/2605.26182#bib.bib32),41 (https://arxiv.org/html/2605.26182#bib.bib33)]方面取得成功后，该范式也被探索用于不同表示的三维生成，包括点云[7 (https://arxiv.org/html/2605.26182#bib.bib34),26 (https://arxiv.org/html/2605.26182#bib.bib35)]、高斯溅射[44 (https://arxiv.org/html/2605.26182#bib.bib38),22 (https://arxiv.org/html/2605.26182#bib.bib39)]和网格[29 (https://arxiv.org/html/2605.26182#bib.bib36),38 (https://arxiv.org/html/2605.26182#bib.bib37)]。基于砖块的生成也可以自然地表述为序列预测问题，因为砖块结构的砖块组装由具有空间、拓扑和物理依赖的离散元素组成。最近的方法[32 (https://arxiv.org/html/2605.26182#bib.bib22),13 (https://arxiv.org/html/2605.26182#bib.bib23),19 (https://arxiv.org/html/2605.26182#bib.bib24)]将砖块组装序列化为令牌序列，并逐步生成砖块结构。本文中，我们引入一个几何约束的自回归框架，使用点云作为显式三维引导，并根据局部附着关系组织砖块组装，实现更准确、物理可搭建的生成。

### 2.3 基于直接偏好优化的RLHF

将模型输出与人类偏好对齐是改进生成模型的关键步骤，尤其是对于大型语言模型（LLMs）[9 (https://arxiv.org/html/2605.26182#bib.bib40),54 (https://arxiv.org/html/2605.26182#bib.bib41),30 (https://arxiv.org/html/2605.26182#bib.bib42)]。诸如从人类反馈进行强化学习（RLHF）和直接偏好优化（DPO）等技术已成为融入偏好信号的标准方法。虽然使用PPO[36 (https://arxiv.org/html/2605.26182#bib.bib43)]的早期RLHF方法常遭受不稳定和高计算成本，DPO[34 (https://arxiv.org/html/2605.26182#bib.bib44)]消除了显式奖励模型的需要，直接优化策略似然。最近，基于偏好的优化也被应用于结构化生成任务，包括三维形状生成[49 (https://arxiv.org/html/2605.26182#bib.bib3),53 (https://arxiv.org/html/2605.26182#bib.bib45),14 (https://arxiv.org/html/2605.26182#bib.bib46)]。本文中，我们将DPO适配到砖块结构生成，通过使用一个同时考虑几何保真度和结构稳定性的可搭建性感知奖励来构建偏好对。

## 3 方法

BrickAnything包含三个组件，如图1所示。遵循BrickGPT[32 (https://arxiv.org/html/2605.26182#bib.bib22)]，我们在一个20×20×20体素网格内使用相同的八种常用标准LEGO®砖块：1×1、1×2、1×4、1×6、1×8、2×2、2×4和2×6来构建砖块结构。第3.1节介绍我们的分词方案和模型架构。第3.2节提出一个可搭建性感知的DPO后训练阶段，通过联合考虑几何保真度和结构稳定性来构建偏好对。第3.3节介绍有效性约束解码和稳定性引导的回滚。

### 3.1 结构感知分词与几何约束生成

与先前将砖块结构表示为保持空间顺序的扁平序列的砖块生成方法[32 (https://arxiv.org/html/2605.26182#bib.bib22),13 (https://arxiv.org/html/2605.26182#bib.bib23)]不同，我们提出一种结构感知的树形分词方案，显式编码砖块间的局部附着关系。

参见图注
图1：BrickAnything框架概览。BrickAnything将多种三维输入转换为点云