measurement-validity

本文认为，在已部署的AI系统中，为合规或监控收集的操作数据不应被误认为可用于比较评估，并提出了一个评估合约以对齐假设，以自动驾驶为案例研究。

本文证明，对于多步骤临床LLM代理的反事实公平性审计，需要测量每动作不稳定性下限以准确解释翻转率，因为固有的异质性可能掩盖人口统计学差异。

本文审计了大模型作为裁判（LLM-as-judge）评估的可靠性，表明即使候选回复固定不变，更换评估模型也可能改变评分。论文考察了Qwen3和MiniMax模型的扩展与升级路径，得出结论：裁判升级不可互换，并提出了最佳报告实践。

本文审计了grokking中表示指标的测量效度，表明grokking过渡期的值高估了收敛后的电路复杂度，且压缩滞后于泛化。它提供了将onset与压缩分开的工具，并报告了关于一般性的负面结果。