reading-comprehension

本文评估了42个大语言模型在测量阅读理解评估中题目区分度的能力，发现其与人类校准指标弱相关，并指出这是心理测量评估中的一个开放挑战。

本文提出MAFIG，一种多智能体框架，利用LLM智能体和特征特定的评估器，通过遵循指定的特征约束来生成难度可控的阅读理解题目。实验表明，与基线方法相比，MAFIG在约束满足率和稳健的难度控制方面表现出显著优势。

本文提出对Transformer编码器进行端到端微调，用于多项选择阅读理解项目的无响应项目难度建模，包括组件变体和多任务变体，表明多任务学习在小样本情况下有所改进。