multiple-choice-qa

本文对LLM在22种语言中的九种不确定性估计方法进行了大规模评估，发现提示模型用英语推理可改善低资源语言的不确定性估计，且方法的选择取决于模型规模。

本文研究了基于LLM的代理在多项选择题回答中的记忆操控，表明即使当前查询是干净的，被破坏的记忆也可能导致代理选择错误的选项。

本文指出，标准的多选题问答基准对措辞偏差敏感，将知识与表面形式熟悉度混为一谈。作者提出了ParaEval框架，该框架为每个答案选项使用多种释义，根据最有利的措辞对模型进行评分，从而减少虚假的性能差距，实现更稳健的评估。