论文页面 - EVA01：基于混合专家变换器的统一原生3D理解与生成

来源：https://huggingface.co/papers/2605.16745
作者：

摘要

EVA01通过混合专家变换器（Mixture-of-Transformers）架构，实现了原生3D网格在多模态语言模型中的集成，使语义流形与几何流形对齐，从而提升生成与编辑能力。

本文解决了将3D网格作为原生模态集成到多模态大语言模型（MLLM）中的挑战。基于扩散的大型重建模型将语义理解与几何推理分离，作为依赖密集2D像素先验的无状态重建器运行。近期基于MLLM的方法将3D模态视为外部输出而非多模态序列的原生组成部分，仅进行增量式适配，缺乏对几何流形与MLLM特征空间对齐方式的系统性分析。我们提出EVA01，这是一个统一的框架，将MLLM的模态边界扩展至原生包含3D网格的理解、生成和上下文感知编辑。该框架基于混合专家变换器（MoT）架构，将模型解耦为预训练的理解专家（E_und）和结构镜像的生成专家（E_gen），两者通过共享的全局自注意力与硬模态路由耦合。这种设计使得MLLM骨干网络的语义潜在空间与几何流形对齐，从而无需中间2D表示即可直接迁移多模态先验。实验结果表明，EVA01在原生文本到3D生成保真度方面达到了业界领先水平，并解锁了具有身份保持能力的稳健长上下文多轮几何编辑功能——这一能力从根本上无法被无状态重建管线实现。我们的研究还为基础模型在3D任务中的集成提供了架构见解，为原生3D多模态系统的设计提供了参考。项目页面：https://www.seeles.ai/research/pages/EVA01

查看arXiv页面 (https://arxiv.org/abs/2605.16745)
查看PDF (https://arxiv.org/pdf/2605.16745)
项目页面 (https://www.seeles.ai/research/pages/EVA01)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.16745)

在您的代理中获取此论文：

hf papers read 2605.16745

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型链接到此论文

在模型的README.md中引用arxiv.org/abs/2605.16745即可从此页面链接。

引用此论文的数据集 0

没有数据集链接到此论文

在数据集的README.md中引用arxiv.org/abs/2605.16745即可从此页面链接。

引用此论文的Space 0

没有Space链接到此论文

在Space的README.md中引用arxiv.org/abs/2605.16745即可从此页面链接。

包含此论文的合集 1