LLMs知道自己何时出错。我对Anthropic的新“全局工作空间”论文进行了一项修复 [R]

我之前发布过关于通过探测器和隐藏状态（AUROC ~0.83–0.88，在我测试的所有模型上，从7B到72B）找出模型答案实际置信度的内容。这就是“知道-说出”差距。根据我和其他人在该领域的工作，这很可能是一个路由问题。通过建立一个微型桥接器，由一个中间层状态的线性探测器和十个训练好的权重组成，将探测器的估计写入置信度数字对数，可以使模型以0.765+的校准置信度进行表达。无需修改权重，答案从不改变，大约需要200个标注样本。而且你安装它的时机无关紧要：在alignment之前、之后，或者附加在已完成的模型上。这个差距是路由问题，不是能力问题。Anthropic的论文(https://www.anthropic.com/research/global-workspace)与此相关。他们表明模型有一个小的“可表达工作空间”（J-space）。这是一个特权子空间，持有模型可以报告和推理的概念，它位于一个更大、无法报告的处理海洋之上。这可能是“知道-说出”差距的结构，阻止它到达语言表达。我的控制器基本上是一种绕过它的方法。我计划更深入地研究这一点，但我想分享这篇论文，因为我认为它相关（它在ARXIV上等待了超过一周，但这里是zenodo链接 - https://zenodo.org/records/21237443 代码和预注册链接在论文中）。