metacognition

本文立场是，将元认知作为设计原则可以构建更准确、更安全、更高效的人工智能系统，并通过联邦学习案例研究及一个实验软件框架展示了这一概念。

本文提出一种元认知框架，将LLMs中的监控与推理分离，利用解决前的已知感（feeling-of-knowing）和解决后的学习判断（judgment-of-learning）信号来控制何时信任、重试或聚合答案，在不更新参数的情况下提升文本、代码和多模态基准测试的准确率。

介绍了TRIAGE，一个在令牌预算下评估大语言模型前瞻性元认知控制的框架，发现它们在跨问题有效分配计算资源的能力上存在显著差距。

本研究探讨了大型语言模型中的功能性元认知，证明诸如评估意识和自我评估能力等内部状态可以从残差流激活中线性解码。作者提出了一个机械机制框架来引导这些状态，展示了对推理行为、冗长度及安全响应的因果控制。

本研究提出了一份涵盖33个模型的图谱，利用MMLU基准分析了前沿大语言模型中的领域级元认知监控，揭示了聚合指标所掩盖的不同知识领域中置信度校准的显著差异。

本文介绍了WriteFlow，一个基于语音的AI写作助手，旨在通过目标导向的交互支持反思性学术写作，通过支架化元认知调节和目标表述来解决效率导向写作工具的局限性。对12位专家用户进行的向导式虚拟研究表明，该系统能有效支持起草过程中的迭代目标细化和目标-文本对齐。

一个包含524个项目的新型跨域基准（元认知监测电池）使用人类心理测量方法评估LLM在六个认知领域的自我监测能力。应用于20个前沿LLM后，揭示了三种不同的元认知配置，并表明准确率排名与元认知敏感性排名基本相反。