对于使用知识库的智能体，或许应先清理数据

许多智能体项目最终都会遇到同样的问题：智能体需要访问知识。这些知识可能来自文档、PDF、支持票据、数据库、会议记录、网页、代码仓库、产品手册或内部流程。一旦智能体开始使用工具、回答用户问题或基于检索的上下文做出决策，知识库的质量就变得非常重要。问题在于，原始数据很少能直接供智能体使用。如果我们直接索引杂乱的数据，智能体可能会检索到不完整的片段、重复内容、损坏的表格、过时的信息、缺失的元数据或无来源跟踪的上下文。智能体可能看起来能力很强，但由于知识层薄弱，其答案变得不稳定。 更好的工作流程可能是在将知识库连接到智能体之前先准备它：解析不同的源格式为结构化文本，保留标题、表格、源ID和元数据；清洗噪声内容而不改变事实；移除重复和低价值片段；基于源类型分割内容，而不是使用固定的片段大小；在需要时匿名化敏感信息；生成问答对或评估集用于检索测试；保留原始和清洗后的版本用于调试；使每个片段可追溯到其来源。 对于智能体系统，这尤其重要，因为检索通常只是更长工作流中的一个步骤。糟糕的上下文可能影响工具选择、推理、规划和最终行动。因此，我开始认为‘智能体+知识库’不应仅仅意味着将向量数据库插入智能体框架。在智能体接触知识之前，应该有一个真正的数据准备层。这正是我们在OpenDCAI/DataFlow项目中探索的设计方向，我非常希望能听到实际构建或使用智能体系统的人的反馈。