llm-failures

一位从业者诚实地剖析了构建 AI 报告生成 Agent 的过程，说明 90% 的代码都是用来处理模型安静且自信的失败，并确保生产环境中的可靠性。

本文提出了一个包含33个类别的全面分类法，用于描述大型语言模型输出中的重复扭曲模式（heuristic parasites），并提供了操作定义、识别标准以及一个可复现的测量协议（PPE），用于量化跨对话的行为退化。

一位为德国律所构建AI法律助手的开发者，详细列出了7种具体的LLM引证失效模式，以及为满足严格法律引证标准而采用的提示工程修复方案。

研究者采用基于LRP的对比归因方法，分析大模型在现实基准中失败的原因，发现该方法在某些场景下能提供有用信号，但并非始终可靠。