cost-quality-tradeoff

本文研究了在低成本和高成本LLM模型之间交接任务时的成本质量权衡，引入了'交接税'概念，即在升级时进行全轨迹传递会导致质量恢复不佳并伴随成本溢价。

研究了推理痕迹在神经机器翻译强化学习中的重要性，显示在推理过程中加入推理可以提升质量，但代价是增加计算需求。

本文识别了一种'路由高原'现象，即多种LLM路由方法收敛到相似的精度，远低于理想路由器，原因是存在一个可预测性瓶颈，限制了针对特定查询的路由。随后，本文展示了更大的数据集、更强的编码器和微调有助于突破这一高原。