multi-dimensional-evaluation

本文介绍了GenAI Evaluation，一个受管控且配置驱动的管道，用于零售对话代理的可扩展多维度评估。它通过使用LLM作为评判员的评分与选择性重新评估实现了高精度，并经过人工标注数据验证。

本文识别了长周期研究智能体中的一种失败模式：优化聚合指标可能选出提升核心数字但破坏关键子群体（反转）的候选项。它提出了一种搜索纪律协议，该协议使用一个外部控制环路，基于候选项的分解行为而非得分进行审计。