cost-aware-inference

本文介绍了InflationAgent，这是一个为代理型LLM设计的路由系统，它能测量Token通胀，使用思维链分支熵（CoT Branching Entropy）预测任务难度，并优化模型选择以最大化成本精度比，在如GSM8K等基准测试中，以更少的Token实现更高的准确率。

本文介绍了Value-Router，一项针对推荐系统中廉价启发式方法与昂贵LLM调用之间成本感知路由的仿真研究，表明价值加权路由提高了精确度，并通过自适应预算处理季节性需求激增。