inference-budget

本文研究了在固定推理预算下，网络代理的在线技能和记忆模块是否值得其令牌成本，发现预算匹配的朴素基线方法在三个领域和模型上通常与增强方法性能相当或更优。

本文重点介绍了AI团队浪费推理预算的五种常见方式，并提供了提高效率的工程杠杆，针对的是正在扩展AI模型的初创公司。