标签
提出一个统一框架，将学生对题目的作答与辅导对话中的子任务建模在共享的IRT量表上，通过从文本估计题目难度并利用辅导策略正则化难度值，在真实数学教育数据集上超越强基线。
本文将反向项目反应理论（reverse Item Response Theory）引入药物基因组学研究，将癌种视为潜在的“受试者”，将药物视为“项目”，从而在稀疏、碎片化的药物响应矩阵中实现稳健的排序恢复，并在多种缺失机制下，于 GDSC2 数据上表现优于简单的平均聚合方法。
论文提出 Rubric Response Theory（RRT），用两参数项目反应模型和通过在线 EM 更新的 Response Parameter Network（RPN）取代加法式评分标准打分。在 Medical 与 Science 基准上，RRT 取得比 GRPO 更高的宏平均评分标准得分，同时将 judge 请求量减半。
本文介绍了高效基准测试生产环境LLM智能代理的方法，展示了基于项目反应理论的自适应测试可以在保持准确性的同时降低评估成本，并提供了持续评估的实际部署见解。
IXPLORE 是一种有界理想点估计算法，通过基于网格的不确定性量化，提升了政治数据分析中的重建和插补性能，尤其适用于稀疏响应的情况。
本研究通过心理测量方法，探讨接近持平的大语言模型排名在基准测试项目组成变化下的鲁棒性。研究发现，尽管整体排名保持稳定，但个别接近的排序可能因项目选择而发生逆转。
BenchMIRT 介绍了一种方法，使用多维项目反应理论在单个提示词级别审计 LLM 基准测试，分离安全性和一般推理等底层能力，以揭示基准测试实际测量的内容。
本文介绍了使用基于Qwen3.5的微调多模态大语言模型来模拟学生响应概率，并估计多项选择题的项目难度参数，从而近似3PL和MCM曲线。
本文将项目反应理论应用于192个语言模型在八个安全基准上的评估，识别出三个潜在因素，通过自适应测试实现97-99%的成本削减，并支持故意表现不佳检测和模型审计。
本文介绍了 LLM-NRM，一种用于多选题基准的选项级心理测量框架，它对答案选择的完整分布进行建模，而不是二元正确性，表明错误回答携带了有用的测量信息，并提高了能力估计和基准测试的效率。
This paper introduces CurveShift, an analysis method that separates overall ability gains from difficulty-specific improvements in LLM agents. Using METR time-horizon data and LiveCodeBench, it finds that most apparent shifts toward harder tasks are ceiling effects, though a genuine hard-task effect exists for reasoning models in competitive programming.
CalibratedRubric是一个任务自适应框架，用于为开放式LLM评估构建紧凑且可测量的评分标准库，通过贝叶斯可测量性过滤和基于IRT的选择，在金融、医疗、通用和法律基准上提升人类-金标准一致性和排序保真度。
本文研究了LLM生成的数学题目难度评级与实际学生表现的匹配程度，发现LLM系统性地低估了由学习者误解驱动的题目的难度，这一现象被称为“简单陷阱”。
本文提出了一种评估框架，利用正则化回归和信度/设计上限，从文本嵌入预测项目参数。结果表明，难度在很大程度上可从文本预测，而区分度和伪猜测则受限于信度，而非文本信号。
本文介绍了Multilingual-IRT，这是一个统计框架，通过每种语言的难度偏差和拆分可区分性扩展了项目反应理论，能够高效预测未观测到的评估、检测翻译错误以及恢复跨29种语言的文化特定项目。
介绍项目反应缩放定律（IRSL），该定律整合项目反应理论，可高效估计神经缩放定律，将所需评估问题数量减少99.9%，同时达到相当准确性。
本文介绍了一种基于项目反应理论的方法，能够以95%的准确率检测LLM基准测试中的错误标注示例，并将错误追溯到标注启发式方法和注释问题。
本文引入一个多组项目反应理论框架，以解耦非英语语言中安全退化背后的因素，揭示安全性主要是一维的，且低资源语言会产生更多不确定的响应。
本文指出，在数据稀疏和难度异构的情况下，AI基准测试中的简单平均法会失效，并提出项目反应理论（IRT）作为一种稳健的替代方案，以恢复真实的排名情况。