inference-budget

本文提出了一种受控的评估框架，在 MATH-500 上将 LLM 生成的调优框架的答案覆盖面与可重复的任务专业化程度分离开来，发现额外的覆盖面主要来自同一程序的重复执行，而非真正的专业化提升。

本文研究了在固定推理预算下，网络代理的在线技能和记忆模块是否值得其令牌成本，发现预算匹配的朴素基线方法在三个领域和模型上通常与增强方法性能相当或更优。

本文重点介绍了AI团队浪费推理预算的五种常见方式，并提供了提高效率的工程杠杆，针对的是正在扩展AI模型的初创公司。