论文页面 - 下一张截图知道答案：面向移动GUI智能体的门控后见之明蒸馏

来源：https://huggingface.co/papers/2608.06065

摘要

门控后见之明蒸馏（Gated Hindsight Distillation）通过利用未来截图作为特权证据，在标准模仿学习失败时恢复正确的推理，从而改进GUI智能体的训练。

GUI智能体通常从成功的交互轨迹中进行离线训练。标准训练将每条轨迹分解为前缀-动作对：智能体根据当前屏幕和交互历史预测一个动作，而随后的观察结果则被丢弃。这就丢失了动作之所以正确的依据：证据往往只出现在后续屏幕上。例如，要启用Soft Wrap，智能体应点击Edit或View，但在菜单打开之前，没有任何信息能揭示这一点。没有这样的证据，标准模仿学习几乎不给模型采样并因此学习正确推理的机会。为了解决这个问题，我们提出了门控后见之明蒸馏（Gated Hindsight Distillation，https://huggingface.co/papers?q=Gated%20Hindsight%20Distillation）（GHD），在训练期间将下一张截图作为特权信息（https://huggingface.co/papers?q=privileged%20information）使用。学生模型从可观察的轨迹前缀进行预测，而参数共享的教师模型（https://huggingface.co/papers?q=parameter-sharing%20teacher）则额外观察下一张截图，并对学生模型的自采样响应（https://huggingface.co/papers?q=on-policy%20responses）重新评分。我们仅在学生模型失败且后见之明条件下的教师模型恢复了演示动作时应用蒸馏。在AndroidWorld和AndroidLab上，GHD在两种视觉-语言模型（https://huggingface.co/papers?q=vision-language%20models）上的任务成功率均优于GRPO（https://huggingface.co/papers?q=GRPO）。代码和检查点将很快公开。

查看arXiv页面（https://arxiv.org/abs/2608.06065）查看PDF（https://arxiv.org/pdf/2608.06065）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2608.06065）

让您的智能体获取这篇论文：

hf papers read 2608\.06065

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型README.md中引用arxiv.org/abs/2608.06065即可从本页链接到它。

引用此论文的数据集 0

没有数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2608.06065即可从本页链接到它。

引用此论文的Space 0

没有Space链接此论文

在Space README.md中引用arxiv.org/abs/2608.06065即可从本页链接到它。

收录此论文的集合 0

没有包含此论文的集合

将此论文添加到集合（https://huggingface.co/new-collection）中即可从本页链接到它。