prompt-robustness

本文研究了LLM评估中提示鲁棒性在客观问题和主观问题之间的差异，发现对提示变化的敏感性取决于问题类型、提示变化和模型。

本文通过实证表明，对指令调优嵌入模型进行单一提示评估是不够的，因为性能随提示措辞显著变化，且排行榜排名可通过提示选择被操纵。