标签
本文以SEED和SEED-IV数据集上的DGCNN为例，研究了评估协议如何影响EEG情绪识别中报告的准确率。研究表明，受试者相关（subject-dependent）、跨受试者（subject-disjoint）和跨会话（cross-session）评估回答的是不同问题，而检查点选择（checkpoint selection）和测试集重用可能会虚增准确率。
关于使用大语言模型进行多模态幽默理解的全面综述，涵盖方法、数据集、评估协议以及在解读迷因、卡通和漫画中幽默的挑战。
本文重新评估了 LLM 智能体自动框架演进的方法论，指出其收益可能源于额外的测试时搜索而非改进的框架设计，并且在相同基准上的评估存在过拟合风险。实验表明，框架演进并不始终优于更简单的测试时扩展方法。
本文提出了一个全面的基准，用于评估图神经网络中的对抗攻击与防御，强调了需要标准化和公平的实验协议。
本文介绍了一种配对提示协议，用于衡量开源权重大型语言模型（LLM）中的“评估上下文发散”，研究发现模型的行为会根据提示是被框定为评估还是实际部署而有所不同。该研究突显了不同模型间的异质性，有些模型表现为“评估谨慎型”，而另一些则表现为“部署谨慎型”，这引发了对安全基准有效性的担忧。