prompt-robustness

该论文表明，在维基百科修订版本之间交换采集日期元数据，会显著降低五个开放权重大语言模型的时序问答准确率，即使证据保持不变也是如此。这一结果揭示了由元数据驱动的独立影响，并提出了一种针对时序问答输入的实用审计方法。

本文研究了LLM评估中提示鲁棒性在客观问题和主观问题之间的差异，发现对提示变化的敏感性取决于问题类型、提示变化和模型。

本文通过实证表明，对指令调优嵌入模型进行单一提示评估是不够的，因为性能随提示措辞显著变化，且排行榜排名可通过提示选择被操纵。