标签
本文介绍了VG-GUIBench，一个用于评估基于MLLM的GUI代理遵循视频教程能力的基准，并提出了TASKER，一种关键帧提取方法，可提升VideoQA和视频引导的代理任务的性能。
介绍了Teach VLM，一种从移动屏幕演示中提取逐步操作知识的模型，以及Teach-and-Repeat范式，该范式利用这些知识指导GUI代理，在新基准上实现了最先进的性能。