标签
Workflow-GYM 是一个用于评估 AI 代理在专业领域中长期 GUI 任务的基准。实验表明，即使是最先进的模型也仅能达到约 30% 的成功率，揭示了重大挑战。
本文认为代理技能应包含视觉信息，而不仅仅是文本，并提出了一种多模态技能范式，将文本逻辑与视觉支持相结合。实验表明，在视觉中心任务中，视觉技能优于纯文本方法。