agent-evals

一条推文讨论了通用AI代理所需的两种不同的评估套件：轻量级基准评估用于快速迭代，以及全面的测试覆盖评估用于对各种用户路径进行彻底验证。

本文讨论了使用Arize Phoenix调试和评估LLM评判者所面临的挑战，Arize Phoenix通过OpenTelemetry追踪评估者运行过程，以检查决策逻辑、成本和潜在偏差。