论文页面 - Scaffolding Minds：优化多模态推理的潜在视觉目标表示

来源：https://huggingface.co/papers/2608.19669

摘要

潜在推理通过两阶段训练范式推动了多模态推理的发展：（1）将一张辅助图像编码为潜在 token，在监督微调（SFT）阶段用于教授视觉思维链（visual chain-of-thought）；（2）在强化学习（RL）阶段，借助奖励反馈进一步精炼这些潜在 token。本文指出了该框架在两个阶段各自存在的一个关键局限。首先，SFT 阶段通常依赖现成的视觉编码器对辅助图像进行编码，产生的潜在表示可能次优，且未必与下游推理任务良好对齐。其次，现有 RL 方法仅以确定性正则化的方式处理潜在分量，这虽然约束了策略漂移，但并未为探索生成替代的潜在轨迹。为解决这些局限，我们提出 Scaffolding Minds。该方法学习一个专门的脚手架编码器（scaffolding encoder），在潜在空间中提供优化后的目标表示，并同时学习 RL 采样器的均值与方差。我们进一步证明这两项改进具有互补性，结合使用后在强基线上取得了显著提升。实验表明，我们的方法在 Frozen Lake 空间规划任务上比最强的潜在推理基线高出 +9.5 个百分点，在 32x32 网格上优势扩大到 +19 个百分点，并在九个以视觉为中心的推理基准上平均提升 +5.6 个百分点。

查看 arXiv 页面 (https://arxiv.org/abs/2608.19669) 查看 PDF (https://arxiv.org/pdf/2608.19669) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.19669)

在你的智能体中获取本文：

hf papers read 2608.19669

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

没有模型关联到此论文

在模型的 README.md 中引用 arxiv.org/abs/2608.19669 即可从本页面链接。

引用本文的数据集 0

没有数据集关联到此论文

在数据集的 README.md 中引用 arxiv.org/abs/2608.19669 即可从本页面链接。

引用本文的 Spaces 0

没有 Space 关联到此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2608.19669 即可从本页面链接。

包含本文的合集 0

没有合集包含此论文

将本文添加到合集 (https://huggingface.co/new-collection) 即可从本页面链接。