trajectory-evaluation

本文介绍了CRATE，一个使用步级后果推理来评估移动代理的两阶段框架，在AndroidWorld和MobileRisk等基准测试上取得了高F1分数。

本文提出了一种针对智能体系统的离线偏好轨迹评估方法，通过时间偏好而非二元成功指标来比较轨迹。研究表明，该方法将平局比例从约75%降低到35%，从而提升了跨多样化基准的区分能力和数据效率。