论文页面 - 面向统一视觉语言模型的技能解耦同策略专家蒸馏

来源：https://huggingface.co/papers/2610.22217

摘要

SCOPED 针对不同能力训练独立专家，通过奖励引导的反思提取技能，并将程序性知识蒸馏到统一的视觉语言模型中，在推理时无需提供显式技能，从而减少跨能力干扰。

强化学习 (https://huggingface.co/papers?q=Reinforcement%20learning)（RL）能够激发视觉语言模型 (https://huggingface.co/papers?q=vision-language%20models)（VLM）的专门视觉能力，但联合优化异构目标往往会引入跨能力梯度冲突 (https://huggingface.co/papers?q=cross-capability%20gradient%20conflicts)。独立训练专家可以缓解这种干扰，但直接优化奖励可能会使专门知识与奖励投机偏差纠缠在一起。本文提出技能解耦 (https://huggingface.co/papers?q=Skill-Decoupled)同策略专家蒸馏 (https://huggingface.co/papers?q=Expert%20Distillation)（SCOPED），针对特定能力训练专家，并通过奖励引导的反思 (https://huggingface.co/papers?q=reward-guided%20reflection)提取显式技能。在同策略蒸馏 (https://huggingface.co/papers?q=on-policy%20distillation)过程中，这些技能用于指导专家监督，但不向统一的学生模型提供，从而促使其内化程序性知识，在推理时无需显式技能。在八个多模态基准 (https://huggingface.co/papers?q=multimodal%20benchmarks)上，SCOPED 始终优于骨干模型和混合能力强化学习，证明了技能解耦 (https://huggingface.co/papers?q=skill-decoupled)同策略专家蒸馏 (https://huggingface.co/papers?q=expert%20distillation)在整合独立习得能力方面的有效性。进一步分析揭示了联合能力优化过程中的干扰，并表明技能增强能够促使专家生成更一致的轨迹、更加关注与任务相关的视觉证据，并在统一的学生模型中更好地保留专门知识。所有代码和数据均可在 https://github.com/NEUIR/SCOPED 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2610.22217)查看 PDF (https://arxiv.org/pdf/2610.22217)GitHub2 (https://github.com/NEUIR/SCOPED)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.22217)

在你的智能体中获取这篇论文：

hf papers read 2610\.22217

还没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

暂无模型关联这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.22217，即可从此页面链接到该模型。

引用这篇论文的数据集0

暂无数据集关联这篇论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.22217，即可从此页面链接到该数据集。

引用这篇论文的 Space0

暂无 Space 关联这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.22217，即可从此页面链接到该 Space。

收录这篇论文的合集0

暂无合集收录这篇论文

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集。