标签
本文介绍了高效基准测试生产环境LLM智能代理的方法,展示了基于项目反应理论的自适应测试可以在保持准确性的同时降低评估成本,并提供了持续评估的实际部署见解。
本文介绍CART,一种面向大型语言模型的闭环自适应红队测试框架,该框架根据失败动态调整测试用例,在发现安全弱点方面优于静态方法。
IQ Tester 是一款AI代理,通过30个自适应问题估算认知能力,基于心理测量学框架提供详细评估报告,涵盖多个推理领域。
本文探索生产环境中LLM代理的高效重复评估方法,比较自适应测试和固定子集等技术,并提供部署的实用建议。
本文引入了一种统计框架,利用安全随时有效推断(SAVI)技术对 AI 系统进行自适应审计,旨在基于有限数据得出严谨的结论。文章提出了一种“通过赌博进行测试”的方法,以验证模型的鲁棒性,同时在自适应采样过程中控制第一类错误。