标签
本文提出 GittinsEval，这是一个成本感知的贝叶斯老虎机框架，用于高效的 LLM 评估，通过自适应选择配置，在显著降低成本的同时保持高性能。
本文证明，波动性和随机性作为不确定性的两种来源，推动最优探索向相反方向变化：波动性增加探索，而随机性抑制探索。作者将Gittins指数框架扩展到高斯状态空间赌博机，并引入了CAUSE——一种闭式探索奖励，其性能优于标准策略。