一种用于自主上下文感知数据质量评估的智能体检索框架

# 一种用于自主上下文感知数据质量评估的智能检索框架 来源: https://arxiv.org/html/2606.13692 Hadi Fadlallah 黎巴嫩科学与艺术大学 黎巴嫩贝鲁特 ha\.fadlallah@usal\.edu\.lb Ibrahim Dhaini 黎巴嫩科学与艺术大学 黎巴嫩贝鲁特 i\.dhaini@usal\.edu\.lb ORCID: 0000-0001-5799-6708 Fatima Mubrarak 黎巴嫩科学与艺术大学 黎巴嫩贝鲁特 fkm201@usal\.edu\.lb Rima Kilany 圣约瑟夫大学贝鲁特校区 黎巴嫩贝鲁特 rima\.kilany@usj\.edu\.lb ORCID: 0000-0002-5710-6901 ###### 摘要 数据质量评估是有效数据分析和数据驱动决策的关键先决条件，但由于数据质量本质上依赖于上下文，它仍然是一项具有挑战性的任务。现有方法通常依赖静态规则或人工评估策略，限制了其对不同使用场景的适应性，并制约了大规模自动化。人工智能，特别是大型语言模型的最新进展，为自动化数据质量评估提供了新的机会，但也引发了关于可靠性、依据性和执行安全性的担忧。在本文中，我们提出了一种统一的智能–检索框架，用于自主的上下文感知数据质量评估。该框架解释预期数据使用的自然语言描述，推导出上下文感知的评估策略，并通过多智能体工作流生成可执行的验证逻辑。为确保操作可靠性，该框架引入了一个可行性验证阶段，在执行之前评估所生成评估规范的真实性和可执行性，必要时允许迭代优化。已接受的验证逻辑以确定性方式执行，以确保可复现和可审计的结果。我们将所提出的框架实现为一个端到端原型，并在同一数据集上针对多个使用场景进行评估。结果表明，评估结果能针对不同预期用途进行有意义的调整，而可行性门控执行则减少了不切实际或不可执行规则的生成。所提出的方法为在现代数据驱动环境中部署既自主又可控的数据质量评估提供了实用基础。 *关*键词数据质量评估⋅\\cdot上下文感知系统⋅\\cdot智能AI⋅\\cdot检索增强生成⋅\\cdot自主数据管理 ## 1 引言 数据质量是有效数据驱动决策的基本前提。缺失值、不一致和无效记录等问题会显著降低分析结果的质量，并削弱对下游模型的信任，尤其是在自动化和大规模数据处理环境中 (Batiniet al. (2009); Abedjanet al. (2016))。随着现代信息系统越来越依赖高级分析、机器学习和自主决策管道，对可靠且适应性强的数据质量评估的需求比以往任何时候都更加迫切。 数据质量评估的一个关键挑战在于其固有的*上下文依赖性*。数据集的适用性不能脱离其预期用途来评估：对于探索性分析可接受的数据，可能不足以用于监管审计、安全关键监控或自动化决策支持 (Wang and Strong (1996))。传统的数据质量方法通常依赖一组静态的预定义规则或通用质量维度，隐含地假设质量要求是普遍的。这种假设常常导致评估要么过于严格，要么信息不足，限制了其实用相关性。 为了解决这一局限性，*上下文感知数据质量评估*已成为一个重要研究方向。上下文感知方法显式地建模诸如预期用途、应用领域和操作约束等特征，从而推导出针对特定场景定制的评估策略 (Fadlallah et al. (2023a, b))。虽然此类框架改进了相关质量维度和规则的选择，但它们主要侧重于评估规划。在实践中，将高级的、上下文感知的评估计划转化为可执行的验证逻辑（如SQL查询或程序化检查）仍然是一项手动且容易出错的任务 (Abedjanet al. (2016))。概念规划与操作执行之间的这一差距阻碍了上下文感知评估在动态数据环境中的采用。 人工智能，特别是*大型语言模型*（LLMs）的最新进展，为自动化数据质量管道中的部分任务开辟了新的机会。LLMs在结构化推理、代码生成以及将自然语言规范转化为可执行工件方面展示了强大的能力 (Brownet al. (2020))。这些能力促使近期一些工作尝试将提示驱动的LLMs应用于数据质量评估和数据清洗任务，并报告了人力投入的减少和灵活性的提升 (MacMaster and Sinistore (2024); Xieet al. (2025))。然而，基于提示的自动化也带来了新的挑战，包括对提示表述的敏感性、缺乏可复现性，以及生成不现实、不可执行或上下文不一致规则的风险。这些局限性在数据质量评估中尤为突出，因为正确性、可追溯性和可审计性至关重要。 检索增强生成（RAG）被提出作为缓解其中一些问题的一种手段，通过将生成输出基于检索到的外部知识 (Lewis et al. (2020); Gao et al. (2023))。通过将知识存储与生成解耦，基于RAG的架构可以减少幻觉并提高鲁棒性。然而，现有的RAG方法主要是在自然语言处理任务中探索，它们本身并不能解决自主多步推理的需求，也无法保证生成的评估逻辑在给定的操作环境中是现实可行或可执行的。 与此同时，*智能AI系统*作为一种使用大型语言模型实现自主、目标导向工作流的范式，正获得越来越多的关注 (Wang et al. (2024); Bandi et al. (2025))。智能系统将复杂任务分解为结构化的、多步的过程，涉及规划、工具使用和中间推理工件。这种范式非常适合数据质量评估，因为后者本质上包含多个阶段，如上下文解释、评估规划、规则规定、验证和解释。然而，自主性的增强也增加了生成不可行或不安全操作的风险，除非有适当的控制机制。 本文通过提出一个*统一的框架用于自主、上下文感知的数据质量评估，该框架集成了智能AI、检索增强依据和可行性门控执行*，来解决这些挑战。与先前方法相比，所提出的框架在智能工作流中引入了一个显式的*可行性验证阶段*。在执行之前，对生成的评估规范进行真实性、可执行性以及与数据集特征一致性的评估。如果可行性检查失败，则将结构化反馈返回给生成阶段，从而实现迭代优化，同时防止不安全或不可执行的规则到达执行层。 该框架明确将概率推理与确定性执行分离。智能组件负责解释数据使用上下文、构建评估策略并生成候选验证规范，而检索机制则将推理基于经过验证的上下文知识。所有已接受的验证逻辑均以确定性方式执行，以确保可复现性和可审计性。通过将基于依据的自主性与可行性门控执行相结合，所提出的方法将上下文感知数据质量评估向可靠、端到端自动化的前沿推进。 我们将所提出的框架实现为一个端到端原型，并在同一数据集上针对多个使用场景进行评估。评估表明，评估结果能针对不同预期用途进行一致的调整，而可行性验证则减少了执行失败和不切实际规则的生成。这些结果强化了数据质量本质上依赖于上下文这一原则，并说明了自主但可控的AI系统如何能在实践中践行这一原则。 本文的其余部分结构如下。第2节回顾了与上下文感知数据质量评估、智能AI、检索增强生成和提示工程相关的背景概念。第3节讨论相关工作。第4节介绍了所提出的框架。第5节描述了实现。第6节报告了评估结果，第7节总结了全文并概述了未来研究方向。 ## 2 背景 本节介绍所提出框架的核心概念，包括智能AI、检索增强生成和提示工程。这些概念构成了本工作的理论和方法论基础。 ### 2.1 智能AI系统 智能AI指的是能够通过规划、推理、记忆以及对外部工具或环境的交互，实现自主、目标导向行为的人工智能系统 (Wang et al. (2024))。与大型语言模型传统的基于提示的使用方式（即一个提示产生一个输出）不同，智能系统在多个步骤中保持内部状态，并协调一系列动作以实现指定目标。这种从孤立生成到结构化、多步编排的转变，代表了语言模型如何集成到复杂软件系统中的根本性变化。 近期研究已证明了智能架构在需要跨扩展工作流进行推理的领域中的有效性，例如软件工程、数据分析和自主决策支持 (Bandi et al. (2025))。在这些场景中，智能系统将复杂目标分解为更小的子任务，迭代地调用工具，并根据反馈优化中间结果。智能AI的关键特征包括任务分解、显式规划、结构化中间表示和迭代推理循环。这些特性使智能系统能够解决那些仅靠单次生成无法可靠解决的问题。 从数据管理的角度来看，智能AI为自动化和适应性带来了重大机遇。特别是数据质量评估，本质上是一个多阶段过程，涉及上下文解释、评估规划、规则规定、验证和解释。智能系统为此类工作流建模提供了一种自然的抽象，因为它们可以显式地表示每个阶段、保留阶段之间的依赖关系，并根据中间结果调整行为。与传统的基于规则或基于提示的方法相比，智能AI在保持连贯执行结构的同时，实现了更高水平的自主性。 除了自动化，智能AI还支持更好的可解释性和可追溯性。通过对显式的中间工件（如评估计划或验证规范）进行操作，智能系统使得推理步骤可检查、可审计。这在数据质量评估中尤其重要，因为利益相关者不仅需要理解评估结果，还需要理解其背后的理由。当与结构化提示和模式验证相结合时 (Liu et al. (2023))，智能工作流可以强制一致性并减少执行间的变异性。 然而，增强的自主性也引入了新的风险。不受约束的智能系统可能会生成不可行、不安全或与执行环境不兼容的操作。由于LLMs能够生成可执行的工件（例如代码或查询文本）(Brown et al. (2020))，在自主工作流中使用它们需要显式的控制机制，以防止非可执行或不兼容的输出。 总之，智能AI为在复杂数据管理任务中构建自主、上下文感知的工作流提供了一种强大的范式。它协调多步推理、整合上下文信息并动态适应的能力，为可扩展且智能的数据质量评估创造了新的机会。同时，在实践中实现这些好处需要谨慎的架构设计，以在自主性与依据性、验证和控制之间取得平衡——这正是所提出框架明确解决的目标。 ### 2.2 检索增强生成 检索增强生成（RAG）将神经文本生成与信息检索相结合，以便将模型输出基于外部知识源 (Lewis et al. (2020))。RAG架构并非仅仅依赖模型参数中隐式编码的知识，而是从外部存储库中检索相关的上下文表示，并将其纳入生成过程。这种将知识存储与生成解耦的方式使得模型能够在推理时访问最新的、经过整理的、领域特定的信息。 越来越多的研究表明，RAG可以显著减少幻觉，提高事实一致性，并增强知识密集型任务（如问答、摘要和决策支持）的鲁棒性 (Gao et al. (2023))。通过将生成约束于检索到的证据，RAG缓解了大型语言模型的一个核心局限性：它们倾向于产生看似合理但缺乏支持输出的倾向。这种基于依据的能力在正确性和可追溯性至关重要的领域尤其重要。 从系统角度来看，RAG在生成管道中引入了一个显式的控制点。检索到的内容可以独立于语言模型进行整理、验证和管理，使得组织能够定义权威的知识源并强制语义约束。这一特性使得RAG对于数据管理和质量评估应用特别有吸引力，因为在这些应用中，评估逻辑、质量维度和验证规则必须与既定标准和操作约束保持一致。 尽管前景广阔，但RAG在数据质量评估中的应用仍然有限。现有工作主要集中于自然语言处理任务，将检索视为一种手段。