osworld

SoftwareGym提出了一个自动化流水线，用于合成多样化的GUI软件环境以训练计算机使用代理（CUAs），合成182个应用并构建了SoftwareGym-Bench评测套件，在OSWorld基准上将Pass@3从41.39%提升至56.97%。

OSWorld-Pro 提出一个基于过程的基准测试，包含 300 多项任务和 2,800 多个子目标，并以 67,000 多条人工标注为依据，逐步评测计算机使用智能体，而非仅看最终状态结果。它揭示了即使是最先进模型也存在的失败模式——表现最好的 Claude Opus 5 仅得 75.7%，而在 OSWorld 上为 83.4%。

一篇预印本论文，分析为何计算机使用智能体首次成功却在重复执行时失败，将不可靠性归因于执行随机性、任务模糊性和行为变异性，并倡导重复评估与稳定策略。