token-inflation

本文介绍了InflationAgent，这是一个为代理型LLM设计的路由系统，它能测量Token通胀，使用思维链分支熵（CoT Branching Entropy）预测任务难度，并优化模型选择以最大化成本精度比，在如GSM8K等基准测试中，以更少的Token实现更高的准确率。