标签
本文介绍了PRECISE，它是预测驱动推理（Prediction-Powered Inference）的一种扩展，将少量人工标注与大量LLM判断结合，以生成无偏且方差减小的排名评估指标（如Precision@K）估计。该方法在ESCI基准测试和实际生产环境的A/B测试中进行了验证，仅使用100个人工标注就正确识别出了最佳系统变体，并通过+407 bps的销售改进得到了确认。
GLIDE是一个开源Python库，统一了最先进的预测驱动推断方法，用于生成式AI和智能体系统的无偏评估，能够在保证有效不确定性估计的同时节省标注成本。