LLM代理中的忠实不确定性：实践中校准与效用权衡

谷歌关于元认知减少幻觉的论文提出了一个在基准测试中未被充分重视的区别。校准不是为了更频繁地正确。而是关于将置信度与正确性匹配。一个完美校准的模型仍然可能有25%的时间出错。它只是不假装不是这样。在智能体系统中，这种区别比在聊天中更为重要。一个给出模糊回答的对话模型有点烦人。一个拥有工具访问权限的智能体基于错误前提自信地行动是危险的。我一直在一个小型基于验证的编码设置中尝试这一点，通过将流水线分为产生任务图的计划阶段，然后在任何昂贵的工具被调用之前运行验证器。风险在于模型即使在自己推测时也信任自己的推理。接地有帮助，但它与校准不同。一种实用模式：计划阶段产生任务图，然后一个轻量级的验证器检查计划是否与可用证据一致。这在我的设置中捕获了大约60%的幻觉工具调用，在它们执行之前。缺点是效用税。额外的验证增加了延迟。将幻觉从25%降低到5%会损失大约一半的简单正确答案，这与论文一致。我目前的折衷方案：让计划层标记低置信度任务以供人工审查，但自动执行高置信度任务。审查者只看到边缘案例，而不是淹没在每个步骤中。尴尬的是，大多数智能体堆栈仍然将置信度视为日志细节，而不是控制面。