interaction-trajectories

提出了Video2GUI，一个从无标签教学视频中自动提取GUI交互轨迹的框架，构建了包含12M条轨迹、覆盖1500+应用的WildGUI数据集。在该数据上进行预训练，在GUI定位和动作基准测试上提升了5-20%。