评估J-space熵在Qwen3-4B上的7个数据集中作为错误预测器的效果 [R]

Anthropic的Jacobian Lens工作引入了一种检查语言模型内部可言语化表示的方法。后续实验表明，这个内部“工作空间”中的熵可能有助于识别自信但错误的答案。我在Qwen3-4B上测试了这一假设，使用了来自七个不同数据集的大约11,400个样本，包括TriviaQA、PopQA、NQ-Open、TruthfulQA、HotpotQA、GSM8K和CommonSenseQA。三个主要发现：它可以补充事实检索中的输出置信度。在PopQA等数据集上，工作空间熵有时能在低审查预算下提高错误路由精度，尤其是在已经具有高置信度的答案中。它不能可靠地检测内在的错误观念。在TruthfulQA上，工作空间熵明显弱于输出置信度。错误答案仍然可以具有清晰、低熵的内部表示。其校准高度依赖于任务。在TriviaQA上校准的阈值在GSM8K上失败，因为正确的数学推理具有更高的基线熵。多项选择格式也在CommonSenseQA上大幅削弱了信号。总体结果比“内部熵检测幻觉”更窄：它可能是一个有用的补充路由信号，用于自信但错误的事实性答案，但它不像一个通用任务错误检测器那样运作。目前这是一项单模型研究，因此跨模型验证是最重要的下一步。该仓库包含完整的方法论、局限性、原始数据、指标、图表和可复现的笔记本：https://github.com/dasjoms/jspace-hallucination-eval 如果有人愿意分享想法，我很希望能得到关于实验设计的反馈。注：我昨天已经发到了r/LocalLLaMa，但觉得这也可能适合这里。