三个人告诉我，我的LLM简历筛选研究测量了错误的东西。他们是对的。以下是数据。

三个月前，我发布了一项LLM简历筛选研究，其中审计员将45%的分数差异标记为偏见。讨论中的反馈质疑了我的方法论，因此我运行了新的实验来检验三个具体反对意见。为检验u/kamilc86提出的'推理是事后编造'的说法，我在320次运行中将正面和负面的理由移回提示中。99.7%的情况下，分数按推理方向移动了3.62分，证明分数确实遵循推理。然而，极端的基线不稳定性证实了他的更广泛观点：初始45%的偏差中很大一部分只是被错误标记为偏差的随机噪声。在4800次运行中测试u/AssiduousLayabout提出的将分数置于最后的观点，发现模式排序对稳定性没有影响，且将录用与不录用的分歧从33%提高到54%。模糊的提示指令也未能减少方差。在4165次运行中测试u/hex4def6提出的安慰剂想法，揭示了无意义的编辑（如汽车颜色）对分数的影响几乎与人口统计学编辑相当（0.328 vs 0.362分）。'银色高尔夫'对分数的改变比更改我的大学或姓名更大，尽管模型从未在理由中提及汽车。最终，名字和职业空窗期显示出真实信号，但原始的不稳定性淹没了大多数人口统计学维度。包装器选择也严重影响结果：通过CLI运行Claude添加了一个隐藏的系统提示，使分数偏移了0.247，这代表了88%的人口统计学信号，意味着基准测试无法在不同包装器间通用。完整数据和代码可在安慰剂控制、推理移植、提示实验室、GitHub仓库和完整博客文章中获取。