llm-judge

对RAG客户支持聊天机器人的详细评估揭示：检索问题常被误认为是LLM问题，启发式评估器具有误导性，去重可提升质量，严格基于文档的约束会在帮助性和准确性之间取舍，而模型扫查可在提升性能的同时大幅降低成本。

Brex 开源 CrabTrap，一个以 LLM 为裁判的 HTTP 代理，在流量抵达生产服务前对 AI Agent 的请求进行过滤与安全检查。

一份每日被反复转发的11个精选链接，帮你掌握AI评估技术，涵盖评估方法、可观测性、LLM-as-judge与智能体评估。