llm-abstention

ArcticQA/ArcticAbstain 提出了一套数据集与配套基准，用于评估大模型在北极科学多选题上能否恰当地选择弃答。研究发现，不同基线模型之间表现差异显著，而在移除正确答案的情况下，弃答率仅小幅提升。

本文研究了LLM弃权的两个维度：答案正确性与问题可回答性。研究表明，单一的置信度阈值会混淆这两种失败模式，并提出了一种带有独立预算的三类选择性接受框架。在五个经过指令微调的模型上进行的实验表明，可回答性在内部是可读的，但输出置信度或自我评估难以捕捉。