agent-evals

一条推文讨论了为AI代理构建评估和环境的迭代过程，强调了人机协作以及数据和验证器设计的重要性。

讨论生产环境代理评估应包括故障重放和恢复能力，而不仅仅是顺利路径的任务成功，强调需要可观测性以实现恢复。

使用 Harbor 框架和 LangSmith 沙箱运行智能体评估的指南，提供完整追踪支持。

一条推文讨论了通用AI代理所需的两种不同的评估套件：轻量级基准评估用于快速迭代，以及全面的测试覆盖评估用于对各种用户路径进行彻底验证。

本文讨论了使用Arize Phoenix调试和评估LLM评判者所面临的挑战，Arize Phoenix通过OpenTelemetry追踪评估者运行过程，以检查决策逻辑、成本和潜在偏差。