model-cascades

本文介绍了一种贝叶斯框架，用于分层LLM代理在推理过程中决定何时升级到更强的模型，将其表述为一个最优停止问题，并提供了性能的理论保证。

本研究论文探讨数据扰动如何影响高效AI推理中模型级联的准确性和鲁棒性，识别关键失败模式，并强调在分布偏移下进行评估的必要性。