agentic-evaluation

PACE 提出了一种代理方法，通过使用更便宜的单轮任务来估计 LLM 的代理能力，从而降低了全面代理评估的成本和时间。

微软研究院最新通讯重点介绍了AgentPex（一个用于自动评估智能体行为的开源系统）；关于排序系统方差缩减的新理论工作；呼吁从文档转向仓库以促进人机协作；以及一项关于AI价值对齐的全球挑战。

GLIDE是一个开源Python库，统一了最先进的预测驱动推断方法，用于生成式AI和智能体系统的无偏评估，能够在保证有效不确定性估计的同时节省标注成本。