black-box-llms

本文提出通过结合语义熵和令牌级不确定性信号来检测黑盒LLMs中的幻觉的方法，评估了TopK、CoCoA、Gated和Stacked等技术在多个基准测试中的表现，发现没有单一方法普遍最强，但Stacked通常表现最佳。

提出逐步置信归因（SCA），一个无需内部访问即可为黑盒大语言模型的推理轨迹分配逐步置信度的框架，利用信息瓶颈原理区分合法变异性与错误。实验表明，SCA能可靠地识别低置信度步骤，并将自纠正成功率相比答案级别反馈提升高达13.5%。