标签
本文研究了用于适配医学语言模型的基于扰动的数据选择方法（RSP 和 RSP-Drop）。在使用 MedGemma-4B 对五个医学问答数据集进行评估时，这些方法的 Macro-F1 分数优于随机选择方法。
PROOF 是一个面向可靠性的基准测试，通过基于Wikidata的多选题和受控干预，评估大语言模型的事实可靠性，揭示了特定领域的覆盖率以及模型在扰动下的稳定性。
MAWILE是一个开发者工作台，用于审计LLM评判者对提示词、评分标准、输入和输出扰动的敏感性，以确保评估的鲁棒性和有意义性。
本文对输入扰动如何通过仅解码器语言模型传播进行多层次分析，评估了通过输出行为、隐藏状态几何和注意力头功能在GPT-2和Qwen2.5等模型中的鲁棒性。