为什么大多数法律 AI 演示在生产环境中失败

我现在已经构建或审计了四个用于法律/合规工作的 AI 系统。不同的律所、不同的司法管辖区、不同的技术栈。这些系统在生产环境中出现故障的模式出奇地一致，几乎到了我能在看到系统之前就预测到哪种故障会发生的地步。写这篇文章是因为我认为这对任何在该领域开发的人都有用，而且我也经常被人问到同样的问题，我宁愿提供一个链接而不是零散地回答。 ### 故障模式一：系统将所有来源视为同等可信 我已经单独详细写过这个，所以不再赘述。简而言之：法律语料库是一个层级结构，而不是一个扁平的文档集合。如果你的检索过程没有编码这个层级，在判断模糊的情况下，你的系统会自信地将一篇评论文章置于具有约束力的法院裁决之上，资深律师会在第一天就发现这个错误，并且再也不会使用这个系统。解决方法是在分块和重排序层使用基于元数据的权威权重。 ### 故障模式二：当来源相互矛盾时，系统没有立场 这个更微妙，而且可以说更危险。真正的法律问题往往有两个或多个合理的答案，具体取决于你在哪个法院或者哪种解释占上风。一个天真的 RAG（检索增强生成）系统要么根据哪个块被检索得更高等随机选择一个答案，要么试图将它们综合成一个在法律中实际上不存在的答案。这两种失败都会摧毁信任。律师读完答案，知道存在两种立场，要么看到系统选择了错误的一方，要么看到一个没有任何法院曾持有的综合答案。无论哪种情况，律师都会认识到系统无法处理任何具有细微差别的问题，而这正是大多数问题的特点。 **替代方案：** 在检索之后、生成之前运行一个分歧检测步骤。如果顶部检索到的块包含实质不同的立场，系统应该明确揭示这一事实。“这个问题存在两种立场。联邦最高法院裁定 X。慕尼黑高等区域法院在 Y 系列案件中持相反意见。以下是每种立场的分析。”这种输出对律师来说确实有用，因为它符合他们实际的思维方式。掩盖分歧的自信单一答案甚至比没有答案更糟糕。 ### 故障模式三：系统无法学习律所的内部解释 每个律所和合规团队都有不在任何公开来源中的内部立场。“我们总是将这一条款解读为 X。”“去年我们收到了监管机构关于这一问题的询问，有效的答案是 Y。”“合伙人 Z 不同意对这一法规的共识解读，他的解读在我们的实践中更为准确。”这些知识存在于三个人的脑海中，部分存在于旧邮件中，并且从未进入公开语料库。一个仅从公开来源检索的系统会遗漏律所实际使用的 30% 到 60% 的推理。因此，系统给出通用答案，而律所在脑海中继续做真正的工作。采用率在一个月内停滞，因为资深律师正确地判断出系统只是公共法律数据库的更快版本，而他们已经有了这些。 **替代方案：** 一个注释层，资深律师可以在其中标记来源以附加律所的解释，用律所特定的指导覆盖通用答案，并随着时间的推移建立机构推理。注释层是将工具与律所实际决策基础设施的一部分区分开来的关键。它也是价值累积的事物：资深律师今天添加的每种解释明年都更有价值，因为它永远可供初级律师使用。 ### 贯穿所有三种模式的共同点 天真的法律 RAG 失败是因为法律领域不是一个语料库，它是一个信任层级，上面有分歧和特定于律所的覆盖层。任何将语料库视为扁平的系统都会通过演示，但在实际使用中会失败。明确建模层级、分歧和特定于律所解释的系统往往能坚持下去。如果你正在构建其中一个或评估别人的，我会进行的测试很简单：给它三个你知道在你的律所实践中具有细微差别答案的查询，然后观察它的表现。如果它返回自信的单一答案而不揭示细微差别，系统尚未准备好。如果它揭示分歧以及律所在此之前的立场，你就有了值得部署的东西。