论文页面 - SpatialOPSD：从经过验证的编码智能体轨迹中自蒸馏空间智能

Source: https://huggingface.co/papers/2610.11366

摘要

空间编码智能体（spatial coding agents）通过利用外部工具生成经过验证的执行轨迹，显著提升了多模态大语言模型（MLLMs）的空间推理能力。然而，这一范式固有地面临难以承受的推理时开销以及对外部依赖的需求。在本文中，我们探索一个 MLLM 是否能够将这种智能体能力内化，从而完全不依赖任何工具地运行。我们从一个简单的观察出发：用空间编码智能体的汇总执行轨迹来提示 MLLM，能够自然地激发模型内部的空间思维链（Chain-of-Thought，CoT）。受此启发，我们提出了 SpatialOPSD，这是一个在策略（on-policy）自蒸馏框架，通过将经过验证的智能体轨迹表述为特权信息（privileged information），将空间推理能力内化到一个独立的 MLLM 中。为了缓解蒸馏过程中的特权信息泄漏问题，我们提出了重复感知蒸馏（Repetition-Aware Distillation），将重复掩码（repetition masking）与非似然正则化（unlikelihood regularization）相结合。在多个基准上的实验表明，通过自蒸馏训练的 SpatialOPSD 在空间数据集和分布外（OOD）数据集上的平均准确率均高于 SFT 和 GRPO，展现出更优的性能与泛化能力。

查看 arXiv 页面　查看 PDF　添加到收藏

引用该论文的模型 0

暂无模型关联到该论文

在模型的 README.md 中引用 arxiv.org/abs/2610.11366，即可从本页面链接过去。

引用该论文的数据集 0

暂无数据集关联到该论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.11366，即可从本页面链接过去。

引用该论文的 Space 0

暂无 Space 关联到该论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.11366，即可从本页面链接过去。

收录该论文的合集 0

暂无合集收录该论文

将该论文添加到合集即可从本页面链接过去。