LLMs知道自己何时出错。我对Anthropic的新“全局工作空间”论文进行了一项修复 [R]
摘要
作者提出了一种方法，通过使用中间层状态的线性探测器和一个小型训练桥接器将置信度对数进行校准，使LLMs能够表达校准后的置信度，仅需200个标注样本，无需修改权重。这与Anthropic的全局工作空间论文相关，该论文解释了“知道-说出”差距。
我之前发布过关于通过探测器和隐藏状态（AUROC ~0.83–0.88，在我测试的所有模型上，从7B到72B）找出模型答案实际置信度的内容。这就是“知道-说出”差距。根据我和其他人在该领域的工作，这很可能是一个路由问题。通过建立一个微型桥接器，由一个中间层状态的线性探测器和十个训练好的权重组成，将探测器的估计写入置信度数字对数，可以使模型以0.765+的校准置信度进行表达。无需修改权重，答案从不改变，大约需要200个标注样本。而且你安装它的时机无关紧要：在alignment之前、之后，或者附加在已完成的模型上。这个差距是路由问题，不是能力问题。Anthropic的论文(https://www.anthropic.com/research/global-workspace)与此相关。他们表明模型有一个小的“可表达工作空间”（J-space）。这是一个特权子空间，持有模型可以报告和推理的概念，它位于一个更大、无法报告的处理海洋之上。这可能是“知道-说出”差距的结构，阻止它到达语言表达。我的控制器基本上是一种绕过它的方法。我计划更深入地研究这一点，但我想分享这篇论文，因为我认为它相关（它在ARXIV上等待了超过一周，但这里是zenodo链接 - https://zenodo.org/records/21237443 代码和预注册链接在论文中）。
相似文章
通过探针目标微调，让LLM真正表达其自信程度。[研究]
这项研究提出了探针目标微调（LoRA）方法，使LLM能够口头表达其内部置信度，实现了对置信度输出的因果控制，并证明模型通常知道自己是正确还是错误，但未能表达出来。
LLMs 并非你所认为的黑箱
一篇总结 Anthropic 2025 年关于机制可解释性论文的文章，表明 LLM 并非黑箱，电路追踪可以揭示多步推理和人类可识别的概念。
LLMs知道自己知道，但并未据此行动：一种用于测试时扩展的元认知框架
本文提出一种元认知框架，将LLMs中的监控与推理分离，利用解决前的已知感（feeling-of-knowing）和解决后的学习判断（judgment-of-learning）信号来控制何时信任、重试或聚合答案，在不更新参数的情况下提升文本、代码和多模态基准测试的准确率。
评估 LLM 在受控实验中作为人类代理的可靠性
本论文通过比较 LLM 生成的数据与人类在准确性感知调查中的反应，评估现成 LLM 是否能可靠地模拟受控行为实验中的人类反应。研究发现，虽然 LLM 能捕捉方向性效应和聚合信念更新模式，但它们的效应大小与人类尺度不一致，这有助于澄清合成 LLM 数据何时可以作为行为代理。
大语言模型可通过正确提示更好地捕捉人类判断
本文提出了一些简单的提示策略，帮助大语言模型更好地捕捉人类判断的完整分布，从而在道德场景和信念方面提升与人类的对齐效果。作者表明，让模型报告标准差和响应比例，同时确保场景清晰度，能够获得与人类反应更一致的结果。