标签
论文探讨了似然排名与基于提示的评估在LLMs中扩展方式的差异，发现似然准确性在不同模型规模下保持稳定，而提示性能随规模提升，表明它们探测了模型行为的不同方面。
本文研究了大型语言模型在多选题问答（MCQA）任务中角色驱动生成的不稳定性，提出了三个衡量指标来评估模型族、模型规模和问题域的性能、结果和正确性稳定性。研究发现，不稳定性的变化具有一致性，数学和常识问题表现出更大的不稳定性，并且任务提示格式比其他超参数（如温度）引入了更多的不稳定性。
本文介绍了代码引导推理（CGR），一种评估协议，用于衡量可执行推理脚手架如何提升小型语言模型在多项选择问答任务上的表现，结果显示其准确率相较于直接回答有显著提升。