llm-failures

本文提出了一个包含33个类别的全面分类法，用于描述大型语言模型输出中的重复扭曲模式（heuristic parasites），并提供了操作定义、识别标准以及一个可复现的测量协议（PPE），用于量化跨对话的行为退化。

一位为德国律所构建AI法律助手的开发者，详细列出了7种具体的LLM引证失效模式，以及为满足严格法律引证标准而采用的提示工程修复方案。

研究者采用基于LRP的对比归因方法，分析大模型在现实基准中失败的原因，发现该方法在某些场景下能提供有用信号，但并非始终可靠。