标签
本文研究了使用小语言模型进行语法约束文本到SQL任务时模型大小与推理计算之间的权衡,发现Beam Search优于sample+vote,且扩展模型大小通常比扩展推理计算产生更好的结果。
本文研究了受限解码对工具调用放弃的影响,将语法约束的效果分解为停止和发射组件,并评估了跨语言小型开源模型的性能。