llm-consistency

本研究考察了不同模型和对话上下文中LLM生成的回复的语义一致性，强调了维护基于对话评估的稳定响应所需的基础设施和设计策略。

本文审计了自洽性与跨模型一致性是否是LLM正确性的可靠指标，发现一致性是一个弱的、依赖于场景的代理指标，且前沿模型表现出过度自信。

本论文提出了SSAS(语法与语义上下文评估汇总)框架,旨在通过分层分类和迭代汇总来减少噪声和方差,提高基于大语言模型的情感预测的一致性。在三个行业标准数据集上的实证评估显示,数据质量和企业决策可靠性可提升30%。