文档提取管道中的静默记录丢失

在文档提取管道中，这很容易被忽略：一切正常，直到行数不匹配。这其实是一个常见问题，当你从文档中提取行数据时，例如发票或报表，短文件返回干净，所以管道看起来稳定；但一旦大文档进入，提取器就开始静默地减少返回行数。精度保持很高，所以每个值都是正确的，但有一部分记录从未返回，你也看不到任何错误或日志，只是行数悄悄地偏低。缺失的记录看起来就像是文档本身行数更少，所以你通常只在下游总数不匹配时才注意到。修复方法是采用完整性检查，而不是依赖大型模型。按章节分割文档，然后提取每个部分并对比预期与返回的记录，用它来界定应有的数量，并在数量不足时明确报错。你可以自己构建，或者使用如llamaparse或其他解析器，并确保你返回每个字段的基础数据，以便进行核对。