永非数字：针对答案被当作事实的人工智能系统的结构化弃权模式

# 结构化拒绝：针对答案被当作事实来源消费的AI系统
来源：https://arxiv.org/html/2608.13926
## 永远不要数字：针对答案被当作事实消费的AI系统的结构化拒绝

吴哲伦（Allen）\*致谢：本案例研究参考了作者在苹果公司任职期间（2021–2024）主导的一个系统。本报告仅描述架构与设计原则；详细披露信息请参见第1节（https://arxiv.org/html/2608.13926#S1.SS0.SSS0.Px4）。
通信邮箱：allenwu94@icloud\.com

###### 摘要
大型语言模型使得与数据库的自然语言交互界面重新变得可信，但LLM文本转SQL系统在一种对部署至关重要的场景中会失败：一个虚构的列名或一个错误聚合的总计数会生成一个流畅的错误答案，且在用户使用时，其与正确答案无法区分。当消费者无法审查生成的查询时（如企业AI部署和操作型仪表板中），并且当消费者是一个使用工具而非人类的代理时，准确性是不够的：没有任何标记指示哪些答案不可信。在它成为一个准确性问题之前，这是一个可靠性问题。我们为这类系统提出了一种架构模式：一个拥有生成式外壳的可信内核，基于一个不变式：一个可能虚构的组件可以影响*系统回答哪个问题*，但绝不能影响*系统返回哪个值*。生成式外壳解释模糊输入并组织回复；确定性内核将完全指定的问题与一组有限的可回答问题模式进行匹配，并通过确定性执行将其编译为查询。两者在用户于计算任何值之前阅读并同意的“确认”处相遇；内核无法表达的请求会被拒绝而非近似处理。我们将此称为*结构化拒绝*，并将其与选择性预测和校准置信度中的*统计拒绝*区分开来：这里的拒绝无需置信度估计，因为无法回答的请求是不可表示的。我们独立于具体实现来规范该模式，给出了一个五步决策方案，并在三个领域中进行了应用；我们将不变式从返回值扩展到代理系统（Agentic Systems）的行动；同时报告了一个为期两年的生产案例研究，以及两个生成式替代方案——一个微调解析器和一个工具检索代理。最后，我们针对此后发布的行业和可靠性基准进行对比，这些基准现在精确地衡量了该模式旨在避免的失败类型。
关键词：可信AI；LLM可靠性；幻觉；拒绝与选择性预测；确定性执行；代理AI；AI代理与工具使用；代理安全；检索增强生成（RAG）；文本转SQL；数据库自然语言接口（NLIDB）；语义层；企业AI与对话式分析；自动化数据分析；自助分析；对话状态跟踪；人在环确认。

## 1 引言
一位区域销售经理想知道她所在城市上周哪家门店销售某特定产品的数量最多。仓库中有确切答案。但她无法直接获取，因为获取答案意味着要知道哪几个表包含门店级别的周销售数据，公司的财务日历如何与普通日期对应，以及她的具体问题涉及十几个重叠的门店分类中的哪一个。因此她向分析师求助，分析师手头工作堆积，两天后她才得到一个数字，而到那时，这个问题要么已自行解决，要么已不再重要。她并非零售业特例。这种情况反复出现在需要从无法查询的系统中获取一个数值并据此采取行动的场景中：临床医生询问病房昨晚有多少张空床，规划师询问哪些零部件低于再订货阈值，财务主管询问上季度某个成本中心的支出，以及越来越多的、直接依据未经人类审查的数字采取行动的下游代理。这些场景的共同点不在于行业领域，而在于答案是以断言而非可操作的工作流形式送达，而接收它的个人或实体实际上无法对其审计。我们将这些称为*事实消费*系统，并注意到消费者不一定是人类：一个读取数值后据此行动的工具使用代理，与无法阅读SQL的经理处境完全相同，且更缺乏追索途径。因此，这是一个LLM可靠性问题，而在代理场景下，则是代理安全问题，而非模型能力问题。这一类别现在已具备商业化形态。被各种包装为AI分析师或自助分析代理的自动化数据分析产品，在构造上就是事实消费系统：它们的存在正是为了让无法编写查询的人不必编写查询。本报告中的模式并非提议构建此类产品，而是提议此类产品需要依赖的一个底层架构层——前提是其返回的数字值得信任。第13节（https://arxiv.org/html/2608.13926#S13）明确指出，分析师的实际工作——探索、假设、对新问题的判断——超出了该模式能做且应做的范围。在这种用户和数据库之间放置语言模型是显而易见的做法，困难不在于它失败，而在于*如何*失败。一个能流利重述模式的模型有时会引用不存在的列或沿错误维度进行聚合（14 (https://arxiv.org/html/2608.13926#bib.bib25)），一个能处理组合语言的模型有时会在算术上出错（7 (https://arxiv.org/html/2608.13926#bib.bib27);11 (https://arxiv.org/html/2608.13926#bib.bib28)）。当分析师在信任前会查看查询时，这尚可接受。当查询不可见且包含数字的句子就是产出时，错误答案具有相同格式、相同自信措辞和看似合理的量级，校准文献（calibration literature）在事后分离它们方面提供的希望有限（15 (https://arxiv.org/html/2608.13926#bib.bib26)）。一个正确率85%但无法指出哪85%正确的系统，并未将分析师移出回路；它移除了分析师却保留了不确定性。

通常安排：
用户 → 语言模型 → 查询 → 值 → 答案
模型在此处的任何错误都以用户无法质疑的数值形式到达。

本文安排：
用户 → 语言模型 → 已确认的问题 → 内核 → 查询 → 值 → 答案
（无生成式组件）用户阅读并同意此内容（仅措辞）。

图1：核心思想。阴影框可能虚构；非阴影框不可能虚构。在通常安排中，语言模型生成查询，因此其任何错误都以与正确值不可区分的数值形式到达。此处模型仅在确认前工作，之后仅处理措辞：从已确认问题到值的路径中没有任何东西可以虚构。

#### 本文新贡献
两件事，且都是概念性而非技术性的。第一是**架构不变式**，我们在此声明，因为论文其余内容皆由此推出。

**边界不变式**：一个可能虚构的组件可以影响*系统回答哪个问题*，但绝不能影响*系统返回哪个值*。模型可以塑造问题，可以组织回复，但绝不能决定数字。

图1（https://arxiv.org/html/2608.13926#S1.F1）对比了由此产生的安排与通常安排，图2（https://arxiv.org/html/2608.13926#S1.F2）展示了其结构。称不变式不约束的区域为*外壳*，不变式绝对约束的区域为*内核*。外壳解释模糊输入，决定接下来问什么，并组织回复；其错误代价是一轮交互，且用户会看到。内核将完全指定的问题与系统能回答的问题集合匹配，并将该问题转换为查询；其错误将是不可见的，因此该模式是消除可能性而非管理风险。两者在*确认*处相遇：系统用普通语言陈述它将要回答的问题，用户表示同意。该句子之前的一切都是可协商的；之后的一切都是机械的。

第二个贡献是为这个设计家族命名。*结构化拒绝*使无法回答的请求不可表示，因此拒绝完全不需要置信度估计；*统计拒绝*是可靠性文献主要发展的方向，它生成一个候选答案，然后估计是否信任它（17 (https://arxiv.org/html/2608.13926#bib.bib39);29 (https://arxiv.org/html/2608.13926#bib.bib41);5 (https://arxiv.org/html/2608.13926#bib.bib40)）。该区分在第3.6节（https://arxiv.org/html/2608.13926#S3.SS6）展开。我们认为这是我们两个贡献中更有用的一个，因为它命名了一个独立于我们所构建任何东西的设计轴线。

解释器 → 引导器 → 渲染器 → 基础器 → 编译器 → 查询引擎
（外壳）（内核）
状态 → 结果 → 确认
（可能虚构。此处错误代价是一轮交互，用户会看到。）（不可能虚构。此处错误将不可见，因此消除可能性而非管理风险。）
图2：边界不变式作为结构。模型可以在外壳中任何地方运行，其错误可恢复且可见。内核中没有任何生成式内容，因为其中的错误值将无标记地到达用户。两个区域仅通过用户阅读并同意的确认进行通信，该确认发生在计算任何值之前。

#### 为何这非一家公司之工程问题
不变式与SQL无关，与数据库无关。它规定，任何产生重要值的组件必须通过确定性执行某人编写的规范来完成，模型可以位于该机制之前，但绝不能位于其内部。第4节（https://arxiv.org/html/2608.13926#S4）将该模式归纳为五个决策，并在临床病房报告和财务报告中，连同我们自己的企业分析场景，进行了实践。第4.3节（https://arxiv.org/html/2608.13926#S4.SS3）将不变式从返回值扩展到执行行动，表述为：一个可能虚构的组件可以影响*提议*哪个行动，但绝不能影响*执行*哪个行动。该版本对工具使用代理至关重要，其防止的失败在此处比在数据查询场景更严重，因为错误数字可能事后被纠正，而执行的行动已发生。该模式的代价是覆盖范围，第3.5节（https://arxiv.org/html/2608.13926#S3.SS5）阐述了值得付出此代价的三种条件，以及不值得的情况。

#### 结构
第2节（https://arxiv.org/html/2608.13926#S2）定位工作；第3节（https://arxiv.org/html/2608.13926#S3）独立于任何实现规范该模式；第4节（https://arxiv.org/html/2608.13926#S4）给出实例化方案并迁移应用；第5节至第9节（https://arxiv.org/html/2608.13926#S5–9）报告基于该模式构建的两年生产部署，以及两个生成式替代方案——一个被放弃，另一个取代它及其原因；第12节（https://arxiv.org/html/2608.13926#S12）根据此后发布的工作重新评估设计；第13节（https://arxiv.org/html/2608.13926#S13）陈述本报告未证实的内容。

#### 范围与披露
案例研究参考了作者在2021年至2024年间在工业界主导的一个生产系统。本报告仅限于架构与设计原则，并结构性地排除了：源代码；模式、表或列名，或任何真实数据模型的描述；数据集；量化性能、准确性、延迟或采用指标；关于客户、用户或人员的信息；以及内部业务流程、产品计划或组织细节。示例中的数字为虚构，附录C（https://arxiv.org/html/2608.13926#A3）中的模式是合成的。部署以过去时态描述，因为作者的直接了解截至2024年。

## 2 相关工作
### 2.1 数据库自然语言接口
*基础器*（Grounder）要解决的问题由来已久，关于约束覆盖范围以换取可靠性的观察同样如此。文献2（https://arxiv.org/html/2608.13926#bib.bib1）调研了神经网络之前的传统方法，并指出了我们仍面临的矛盾：具有广泛语言覆盖的系统难以做到正确，而正确的系统通常范围狭窄。文献23（https://arxiv.org/html/2608.13926#bib.bib2）提出了最鲜明的论点，定义了一类*语义可处理*问题——系统能以正确性保证回答的问题，并让系统拒绝其他所有问题。这在结构上是*基础器*所作的选择，模板池充当了可处理性标准的角色。后来的系统增加了交互性。NaLIR（文献20 (https://arxiv.org/html/2608.13926#bib.bib3)）向用户展示其对查询的理解，并允许他们在执行前纠正，这与我们“确认轮次”背后的理念相同：向用户展示你将要回答的问题，比事后解释错误答案成本更低。ATHENA（文献26 (https://arxiv.org/html/2608.13926#bib.bib4)）将语言映射到本体而非直接映射到物理表，将用户的词汇与模式布局解耦——这种分离我们通过更粗糙的方式实现，即通过第5.5节（https://arxiv.org/html/2608.13926#S5.SS5）描述的模板到表映射。相对于这一系列工作，我们的贡献不在于约束覆盖的想法（这是他们的），而在于将其与严格用于正确性关键路径之外的LLM相结合，并描述这种组合在生产环境中是什么样子。

### 2.2 神经与LLM文本转SQL
现代研究始于基于单表的监督语义解析（文献41 (https://arxiv.org/html/2608.13926#bib.bib5)）及随后的跨领域基准测试（文献38 (https://arxiv.org/html/2608.13926#bib.bib6);21 (https://arxiv.org/html/2608.13926#bib.bib10)）。架构工作改进了模式链接（文献32 (https://arxiv.org/html/2608.13926#bib.bib7)），解码时约束改善了形式正确性：PICARD（文献28 (https://arxiv.org/html/2608.13926#bib.bib8)）拒绝无法扩展为有效SQL的部分输出，LLM时代的方法将任务分解为子问题并进行自校正（文献24 (https://arxiv.org/html/2608.13926#bib.bib9)）。关于该文献有三点与我们的设计相关。第一，约束解码和我们解析树编译器从两端攻击同一问题。PICARD保证生成SQL的语法和模式有效性；它无法保证查询回答了用户所问的问题。我们放弃了生成任意查询的能力，以换取语义上的保证：在模板池内，从已确认问题到SQL的映射是固定且可审计的。第二，在Spider或BIRD上的基准准确性是在查询分布上的执行准确率平均值——对于通用解析器是正确指标，对于我们则是错误的。一个执行准确率85%的系统是优秀的研究，但作为无监督的预言机是不可用的，因为那15%的错误未被标记。我们需要的不是更高的平均准确率，而是将输入划分为正确回答的和明确拒绝的。第三，并且仅在事后可见：那些让LLM文本转SQL看起来接近解决的基准并未衡量我们的场景。后来的两个基于企业数仓的基准报告了崩溃。在Spider 2.0上，其数据库来自真实工业应用且常超过一千列，一个基于前沿推理模型的代码代理框架仅解决了21.3%的任务，而对比基准为91.2%。