length-bias

本文审视了DeepSeek-V4论文中关于重试被中断的LLM请求会引入长度偏差的警告，并通过生成10万首诗进行验证，发现重试会让响应变短。

该论文分析了基于似然度的多项选择评估中的长度偏差，显示标准准确率与长度归一化准确率分别引入了偏向较短答案和较长答案的偏差。它提出了贝叶斯准确率，这是一种使用显式的答案长度先验来消除线性长度效应的评分规则，并在多个基准测试中始终表现出更低的经验偏差。