adversarial-challenges

本文引入了一种受控协议，通过用合理的反论点挑战正确答案来评估大型语言模型的答案稳定性，揭示了不同模型之间翻转率的巨大差异，而仅凭准确率指标无法捕捉这些差异。作者发布了该协议、挑战记录以及精心策划的MaxFlip挑战集，以支持稳定性评估。