AuditWeave：为AI辅助和数据转换工作流打造的防篡改、审计可追溯的证据层

# 用于AI辅助和数据转换工作流的防篡改、可审计导航的证据层
来源：https://arxiv.org/html/2607.09682
###### 摘要

AI系统越来越多地被用于协助审计、金融和医疗等监管领域中的关键决策。这产生了一个反复出现的义务：组织必须能够在事后重建哪些证据支持了某个给定的结论，并证明该推理记录未被篡改。现有工具解决的是相关但不同的问题——模型可观测性、漂移监控、治理报告——并且是为操作系统的机器学习工程师设计的，而不是为必须将某个具体结论追溯到其支持证据的审查者设计的。我们提出AuditWeave，一个轻量级Python库，无运行时依赖，它将AI辅助和数据转换工作流的步骤记录到一个仅追加、哈希链式的账本中。一个小的、系统无关的事件词汇表涵盖了检索增强生成（RAG）流程和表格/湖仓转换，因此一个同时依赖于两者的结论可以通过一条记录进行端到端追踪。在密封的账本中，任何对事件的修改、重排、插入或删除都可以通过链式验证检测出来。我们描述了设计，并在参考实现上评估了记录开销、可扩展性和防篡改正确性。完整性保证每事件成本为几十微秒，并且——正如哈希链构造所暗示的——在2000次随机试验中，验证标记了四种突变类别中的所有注入突变。

## 1 引言

人工智能系统正从实验工具转变为嵌入在关键、受监管工作流中的组件。这种使用中越来越大的份额是*辅助性*的：模型读取一批源材料并提出结论，人类随后依赖该结论。审计员使用检索增强系统浏览庞大的交易数据集；金融机构将AI应用于信贷和欺诈工作流；医疗保健组织使用它支持预先授权决策。在每种情况下，系统的价值与监管机构越来越频繁提出的一个问题密不可分：当做出一个受AI影响的决策时，哪些证据为其提供了信息，组织能否证明该推理记录的完整性？

这个问题包含两个不同的部分。第一个是*来源*：能够为任何结论重建产生该结论的源文档、检索、转换和模型输出的链条。第二个是*完整性*：能够证明记录的链条在创建后没有被篡改——无论是意外还是故意。两者都是受监管环境所要求的问责制的前提条件，而当前的工具均未完全解决这两个问题。

现有工具解决的是相关但不同的问题。模型可观测性和监控平台侧重于操作性问题——延迟、成本、漂移和性能——并且围绕在生产环境中运行系统的机器学习工程师的需求而设计。治理和模型风险平台生成合规报告和清单。这些很有价值，但它们回答的是与审查者不同的问题：*给定一个结论，按顺序向我展示其背后的证据，并保证记录未被更改。* 来源归因——将AI输出与产生它的具体输入绑定——已被确定为当前AI审计实施中特别薄弱的一环。

本文提出AuditWeave，一个小型库，无运行时依赖，直接解决这两个部分。AuditWeave使用紧凑、系统无关的事件词汇表将工作流步骤记录到仅追加、哈希链式的账本中。相同的词汇表描述RAG流程和表格数据转换作业，因此单个轨迹可以跨越混合两者的工作流——我们认为这一属性对于现实审计环境至关重要，因为AI生成的解释通常依赖于上游数据聚合。我们做出三项贡献：（i）一个生命周期事件模型和跨模态来源的参考架构；（ii）一个防篡改账本设计及其关联的验证程序；（iii）在开源参考实现上对开销、可扩展性和防篡改正确性的实证评估。

## 2 背景与相关工作

与AuditWeave相邻的工作大致分为四类。*数据质量和验证框架*根据声明式期望检查数据集，成熟且广泛使用，但它们评估的是数据的状态，而不是记录基于数据做出的决策的来源。*数据沿袭和来源系统*跟踪数据集和模型的生产和转换方式，提供有价值的上游上下文；最近的研究在数据科学和准备流程中捕获细粒度、记录级和属性级的沿袭[5 (https://arxiv.org/html/2607.09682#bib.bib5),6 (https://arxiv.org/html/2607.09682#bib.bib6)]，而机器学习系统的来源库以W3C PROV[4 (https://arxiv.org/html/2607.09682#bib.bib4)]等标准化形式序列化流程沿袭。这些系统与我们的目标互补，但它们通常以数据和模型生命周期为中心，而不是审查者重建单个结论的任务，并且它们通常不提供统一的防篡改记录，将数据转换与模型推理和人工签核联系起来。*模型可观测性平台*对生产模型行为进行检测，强调漂移、性能和成本，面向操作者而非审查者。

与我们工作最接近的是最近用于大型语言模型的*审计轨迹和推理审计框架*。Ojewale等人[1 (https://arxiv.org/html/2607.09682#bib.bib1)]提出LLM审计轨迹作为持续问责的社会技术机制，贡献了一个生命周期事件框架、一个带有轻量级发射器和仅追加存储的参考架构，以及一个开源实现；我们的事件模型和面向审查者的设计直接受该研究工作启发并旨在补充它，同时将轨迹扩展到检索和表格数据转换步骤。其他方法追求基于去中心化或区块链的模型推理审计，以分布式基础设施为代价提供多个审计员之间的一致性保证[2 (https://arxiv.org/html/2607.09682#bib.bib2)]，而数据来源审计技术针对微调模型的数据集归因[3 (https://arxiv.org/html/2607.09682#bib.bib3)]。

AuditWeave通过三个明确的选择脱颖而出。首先，它是*面向审查者*的：其主要操作是接收一个结论并返回其下有序的证据。其次，它是*跨模态*的：一个事件词汇表和一条轨迹覆盖RAG和表格流程，因此依赖于两者的结论可以端到端追踪。第三，它*本质上首先确保完整性*：每个事件都通过密码学方式链接到其前驱，因此在密封账本内的篡改无需依赖外部服务或分布式网络即可检测[2 (https://arxiv.org/html/2607.09682#bib.bib2)]。该库有意保持小巧且无运行时依赖——这反映了一个简单的观察：问责层只有在易于添加到现有流程中时才会被采用。

表1 (https://arxiv.org/html/2607.09682#S2.T1)将AuditWeave与周围类别中的代表性系统进行了定位。比较是定性的；这些系统范围不同，并非为同一目的而构建，因此要点不是对它们进行排名，而是明确指出AuditWeave填补的空白。没有单个现有系统结合了防篡改存储、面向审查者的导航以及覆盖RAG和数据转换来源的统一事件模型。

表1：AuditWeave与代表性来源、实验跟踪、沿袭和LLM可观测性系统的定性定位。条目反映每个系统的*主要设计目标*，而非可以通过工程实现的绝对极限：“部分”表示需要努力才能实现或仅部分覆盖的能力，“N/A”表示该行不适用于某个规范而非某个工具。
## 3 系统设计

### 3.1 定义

我们准确地使用几个术语。*事件*是工作流中单个步骤的不可变记录，带有类型、执行者、载荷以及指向其依赖事件的链接。*轨迹*是仅追加、哈希链式的事件序列。对于给定事件，*来源*是通过其链接可到达的上游事件集合——其证据家谱。*完整性*是密封轨迹自创建以来未被篡改的属性，通过*验证*（重新计算哈希链）建立。*证据记录*是审查者为特定结论获得的视图：该结论及其来源和完整性结果。这些定义是有意操作性的——每个都直接对应于实现中的某个构造——而非逻辑意义上的形式化定义。

### 3.2 事件模型

核心抽象是*事件*：工作流中一步的不可变记录。AuditWeave定义了六种事件类型，选择范围足够广，以使用单一词汇表描述LLM检索流程和数据转换作业：

- •源——原始输入文档或数据集。
- •检索——选择源材料以回答查询。
- •转换——数据转换步骤。
- •推理——模型产生输出。
- •决策——结论或分类。
- •证明——人工审查并签署确认先前事件。

每个事件记录负责的执行者（人类、模型或系统组件）、类型特定字段的载荷、可选标签，以及关键的一组指向其依赖的上游事件的*链接*。这些链接形成一个有向无环图，捕获来源：决策链接到产生它的推理；该推理链接到提供其上下文的检索；该检索链接到其选择的源文档。从任何事件向后遍历这些链接即可获得其完整的证据家谱。

为支持机密数据，事件可以绑定到源文档的SHA-256哈希值而非其内容。这使得轨迹能够证明哪些确切字节影响了决策，而无需存储文档本身——在基础数据无法复制到辅助存储的监管环境中尤为重要。

### 3.3 防篡改账本

事件被密封到一个*轨迹*中，这是一个由SHA-256哈希链连接的仅追加序列。每个事件存储前一个事件的哈希值以及其自身的哈希值，该哈希值是在包含前驱哈希值和序列位置的内容上计算的。由于每个哈希都包含了前一个哈希，任何对事件的修改、插入、删除或重排都会使所有后续事件的哈希值失效。该构造在概念上类似于分布式账本和版本控制历史，但应用于一个狭窄且实际的问题：证明证据记录在创建后未被篡改。它不需要分布式网络。一个仅追加文件和验证例程足以让审查者检测到篡改。

验证重新计算整个链，并针对每个事件报告其存储的哈希值是否与内容的新鲜重新计算匹配，以及其记录的前驱哈希值是否与实际前一个事件匹配。任一检查失败都将篡改定位到特定事件。以下展示了记录和验证接口：

fromauditweaveimportRecorder

rec=Recorder\(\)

s=rec\.source\("ledger.csv",content\_hash=\.\.\.\)

t=rec\.transformation\("aggregate␣by␣quarter",\[s\.id\]\)

d=rec\.decision\("Q3␣revenue␣=␣$4\.2M",\[t\.id\]\)

assertrec\.trail\.verify\(\)\.ok

### 3.4 导航

账本存储证据，而*导航器*以审查者所需的形式呈现证据：给定一个结论，它以阅读顺序返回完整的上游家谱，每个事件用一行总结，并附带完整性标记指示记录是否验证通过。这是审计员在要求证明结论时所执行的操作——从一个陈述重建其下完整的证据轨迹，并确保轨迹未被篡改。

### 3.5 适配器

两个适配器将框架特定的对象转换为通用事件词汇表。RAG适配器记录完整的检索-提示-生成-结论循环，将每个检索到的块绑定到其内容哈希值。表格适配器记录数据集注册和转换沿袭，并接受轻量级描述符，因此它可以与Spark、pandas、dbt模型或SQL作业一起工作，而无需将它们作为依赖项。由于两个适配器写入同一轨迹，依赖于AI推理和上游数据转换的结论可以通过一条记录端到端追踪。

### 3.6 威胁模型

有必要明确AuditWeave假设什么以及不尝试什么，因为完整性声明的价值完全取决于其范围。

假设。事件在捕获时被如实记录——轨迹证明的是记录内容，而非记录是否忠实反映了现实。事件一旦被密封到链中即被视为不可变。攻击者可能后来尝试修改、重排、插入或删除存储账本中的事件。

保证。在这些假设下，密封账本内的任何此类篡改都会通过链式验证暴露，并将不一致定位到特定事件。

非目标。AuditWeave不阻止篡改；它使篡改可被察觉。它不验证捕获信息的正确性或真实性。并且它本身不防御控制存储介质并在修改后重新计算整个链的攻击者——弥补这一缺口需要将链头锚定到外部仅追加引用，我们在第5节 (https://arxiv.org/html/2607.09682#S5)讨论这一点，并留待未来工作。分布式或多方设置（审计员之间需要共识）不在范围之内；该设计点由其他系统占据[2 (https://arxiv.org/html/2607.09682#bib.bib2)]。

## 4 评估

我们评估参考实现的三个可客观衡量且与部署相关的属性：记录开销、可扩展性和防篡改正确性。所有测量由随库分发的自动化基准套件生成，针对已发布版本的包执行。计时使用高分辨率单调时钟，并报告重复测试的最佳值以减少噪声。

测量在x86-64 Linux环境（Intel Xeon级CPU 2.8 GHz，Python 3.12）上进行，运行于容器化单核配置。因此绝对时间应视为指示性而非硬件优化数据；关心的量——开销如何随轨迹大小扩展以及是否检测到篡改——是算法的属性，可通过已发布的套件跨环境重现。我们因此报告每事件成本和渐近行为，而非峰值吞吐量。

### 4.1 记录开销

我们将完整哈希链式记录与无完整性基线对比——将纯字典追加到