标签
本文提出了一种受控的评估框架，在 MATH-500 上将 LLM 生成的调优框架的答案覆盖面与可重复的任务专业化程度分离开来，发现额外的覆盖面主要来自同一程序的重复执行，而非真正的专业化提升。
本文介绍了面向上下文强化学习的任务特化微调（TSFT），该框架利用一个简单的参数模型和整数线性规划高效分配微调预算，在任务覆盖方面显著超越基线方法。
本文回顾了从BERT到高级智能体系统的语言模型八年的演变，记录了能力-成本曲线的崩塌以及任务专用模型的出现，通过经验基准和可重复实验证明。