标签
一篇新的研究论文介绍了 RLMF（Reinforcement Learning with Metacognitive Feedback），一种两阶段方法，利用模型自身的自我判断来校准置信度并忠实地表达不确定性，在保持准确性的同时，在多种任务上实现了最先进的校准，并且比标准 RL 提升了高达 63%。
本文分离了大型推理模型（LRMs）和人类中的难度登记与思考分配，发现LRMs在答错的问题上花费更多token，而人类在失败上花费更少时间，揭示了尽管跨项目难度相关性相似但项目内模式相反。
一位从业者讨论了LLM代理中的校准与效用权衡，分享了基于验证器的流水线经验，该流水线将幻觉工具调用减少了约60%，但引入了延迟成本并丢失了简单的正确答案。
这项研究提出了探针目标微调（LoRA）方法，使LLM能够口头表达其内部置信度，实现了对置信度输出的因果控制，并证明模型通常知道自己是正确还是错误，但未能表达出来。
本文认为，近期关于LLMs内省能力的说法并不成立，因为仅凭行为证据无法区分真正的内省与基于表面线索的模式匹配。作者重新审视了两种评估范式，发现模型依赖于输入层特征，而非真正访问内部状态。
本文研究了前沿大语言模型是否表现出个体化元认知——即超越共享信号评估自身项目级别能力的能力。通过对20个模型和六个基准进行因子分析和成对校准，作者未发现此类元认知的证据；置信度差异归结为一个单一的共享难度因子，表明模型依赖于共同的难度信号而非模型特定的自我认知。
一篇新的谷歌论文认为，LLMs应侧重于诚实表达不确定性，而非追求完美的事实性，并提出“忠实的不确定性”以建立信任。
介绍了元认知即奖励（MaR），一个基于元认知知识与调控信号指导大语言模型推理的强化学习框架，在推理基准上相比基准方法最高提升11%。
本文认为，在生产AI中，评估是最难的问题，而非生成，并将AI的自我知识分解为校准、判别和表达，这对系统设计具有启示意义。
本文立场是，将元认知作为设计原则可以构建更准确、更安全、更高效的人工智能系统，并通过联邦学习案例研究及一个实验软件框架展示了这一概念。
本文提出一种元认知框架，将LLMs中的监控与推理分离，利用解决前的已知感（feeling-of-knowing）和解决后的学习判断（judgment-of-learning）信号来控制何时信任、重试或聚合答案，在不更新参数的情况下提升文本、代码和多模态基准测试的准确率。
介绍了TRIAGE，一个在令牌预算下评估大语言模型前瞻性元认知控制的框架，发现它们在跨问题有效分配计算资源的能力上存在显著差距。
本研究探讨了大型语言模型中的功能性元认知，证明诸如评估意识和自我评估能力等内部状态可以从残差流激活中线性解码。作者提出了一个机械机制框架来引导这些状态，展示了对推理行为、冗长度及安全响应的因果控制。
本研究提出了一份涵盖33个模型的图谱，利用MMLU基准分析了前沿大语言模型中的领域级元认知监控，揭示了聚合指标所掩盖的不同知识领域中置信度校准的显著差异。
本文介绍了WriteFlow，一个基于语音的AI写作助手，旨在通过目标导向的交互支持反思性学术写作，通过支架化元认知调节和目标表述来解决效率导向写作工具的局限性。对12位专家用户进行的向导式虚拟研究表明，该系统能有效支持起草过程中的迭代目标细化和目标-文本对齐。
一个包含524个项目的新型跨域基准（元认知监测电池）使用人类心理测量方法评估LLM在六个认知领域的自我监测能力。应用于20个前沿LLM后，揭示了三种不同的元认知配置，并表明准确率排名与元认知敏感性排名基本相反。