这不是烟斗：AI系统作为语义抽象

# Ceci n’est pas une pipe：人工智能系统作为语义抽象 来源：https://arxiv.org/html/2607.09489 ###### 摘要\. 人工智能系统的输出并非其看似描述的事实或世界状态，而是一种工程化的表示。我们提出一个语义框架来描述人工智能系统，以便能够检验此类表示的正确性。为此，我们区分了以下内容：哪些内容由公认的领域知识所证明，哪些来自参考来源，以及系统当前可以使用哪些内容。这使我们能够对常见失败给出精确定义：外推、被反驳或无支持的断言、来源与知识不匹配、过时或被反驳的来源、添加的假设、无支持的使用……我们希望我们的框架能为指定和检查AI系统提供有用的词汇，这类系统的输出、引用、工具调用以及改变世界的行动必须由可靠的声明和明确的权威（而非表面的流畅性）来证明。 ††版权：无 ## 1\. 引言 许多已部署的AI系统被用作回答问题的助手或执行操作的智能体。这两种类型都可能通过一系列迭代进行。这些系统通常以两种我们认为具有误导性的方式被讨论：作为魔法系统——仿佛其行为无法被分解和理解，类似于机器学习的炼金术(Rahimi and Recht,2017 (https://arxiv.org/html/2607.09489#bib.bib79))；作为神谕——仿佛系统产生的答案已经是所关注的事实或世界状态；其他工作警告不要将流畅生成的文本与事实性混为一谈(Weizenbaum,1966 (https://arxiv.org/html/2607.09489#bib.bib80); Bender and Koller,2020 (https://arxiv.org/html/2607.09489#bib.bib81); Bender et al\.,2021 (https://arxiv.org/html/2607.09489#bib.bib82); Ji et al\.,2023 (https://arxiv.org/html/2607.09489#bib.bib83))。因此，一些重要问题难以精确回答：给定领域中的公认知识是什么？参考来源是什么？它们说了什么？系统在此时可以使用什么？这与公认的领域知识或参考来源有差异吗？系统可以观察或改变世界的哪一部分？系统被允许这样做吗？我们能否记录、检查和追溯导致某个关键步骤（如对世界的观察或改变）的原因？ 我们从这样一个立场出发：AI系统应被视为工程化的语义抽象，而非魔法或神谕：AI系统的输出并非其看似描述的对象，而是像马格利特的烟斗一样，是它的一个表示。在较高层面上，我们认为系统由以下部分组成： - •知识库：系统可用的、可能包含错误的内容，例如散文或代码； - •提示词：用户在交互过程中的查询、修正和引导； - •计算组件：例如，一个模型或一组模型，将提示词和参考来源转换为消息、工件或动作，以及像摄像头这样的代理服务； - •致动：系统产生的响应、工件、动作或世界修改； - •编排器：一个可能为空的编排层，围绕计算组件，在致动之前可能调用工具、检索文件或进行迭代。 我们使用以下示例贯穿全文：Oma需要借助一个AI辅助应用程序续办她的护照。系统可能需要检查她的旧护照，查阅当前关于可接受照片的指南，拍摄或评估照片，填写表格，处理门铃响等中断，保存进度，检查提交前的所有准备是否就绪，并要求Oma确认提交。知识库需要包含官方的护照要求；提示词可能是Oma的请求和修正；计算组件可能是政府采购的LLM和Oma的手机摄像头；编排器可能是围绕LLM的软件栈，决定是否检索、询问、检查、保存或将申请标记为就绪；致动可能包括本地PDF导出。 系统不直接操作所关注的语义对象：通过接口来检索来源、调用工具、提出更新。这个接口层体现了本工作的核心区别：AI的回答、提示或工具调用仅仅是一条消息，其含义、来源、权威性和效果必须根据底层语义进行解释和检查。考虑Oma填写护照续办表格的情景。系统记录一个事件轨迹：路线选择（如英国或法国）、护照观察、表格填充、照片和表单检查、申请就绪检查、Oma的确认、许可和提交。就绪事件本身并不是申请就绪的证明。其消息必须被解释、对照来源进行检查，并得到当前轨迹的支持，然后系统才能依赖它。后面的定义将形式化这条路径以及当必要的观察、见证、权威性或新鲜度条件缺失时出现的故障模式。 ##### 大纲 第2节 (https://arxiv.org/html/2607.09489#S2)和第3节 (https://arxiv.org/html/2607.09489#S3)定义了知识库、系统使用的通信语言、世界、轨迹、上下文和提示词。第4节 (https://arxiv.org/html/2607.09489#S4)定义了AI系统的信息状态。第5节 (https://arxiv.org/html/2607.09489#S5)解释了消息如何成为候选声明，以及这些声明何时得到支持并可被依赖。第6节 (https://arxiv.org/html/2607.09489#S6)考察了信息状态的不匹配，我们希望这能给出一个常被称为“幻觉”的分类法。第7节 (https://arxiv.org/html/2607.09489#S7)定义了计算组件，如神经和符号组件、服务和编排器。第8节 (https://arxiv.org/html/2607.09489#S8)将这些层次组合成AI系统的定义，并给出质量判断。 因此，我们提出AI系统是理想语义系统的抽象。理想语义系统依赖于底层语义，其致动基于该语义。AI系统通过该语义的部分、有损且有时是推测性的抽象来运作。当然，在某些领域，底层语义可能不明确，例如处理散文时。但我们的框架可能仍然有助于定位系统的义务和故障模式。一个原型（可根据请求提供）示例化了本文介绍的概念：该应用程序让用户或代表用户的智能体填写护照续办表格，自拍，扫描现有护照页面，并在门铃响时保存当前草稿…… ## 2\. 知识库 本节定义了知识库所用的机制。 一个知识库 \(K=\langle D,F,R,t\rangle\) 在时间 \(t\in\mathbb{N}\) 包含一个领域 \(D\)（对象的集合，如集合、类型等）、事实 \(F\in\wp(D)\)、以及领域 \(D\) 上的规则系统 \(R\)。 一条规则 \(\frac{P}{c}\) 包含前提 \(P\in\wp(D)\) 和结论 \(c\in D\)。如果 \(P=\emptyset\)，则该规则称为公理。 规则系统 \(R\triangleq\Bigl\{\frac{P_i}{c_i}\Bigm| i\in\rho\Bigr\}\) 在 \(D\) 上是一个可能无限的规则族，由集合 \(\rho\) 索引。标准逻辑(Shoenfield,1967 (https://arxiv.org/html/2607.09489#bib.bib21))、直觉主义逻辑(van Dalen,2013 (https://arxiv.org/html/2607.09489#bib.bib22))和模态逻辑(Blackburn et al\.,2001 (https://arxiv.org/html/2607.09489#bib.bib23))都可以用这种希尔伯特式证明系统(Hilbert and Ackermann,1928 (https://arxiv.org/html/2607.09489#bib.bib32))来形式化。虽然是为逻辑引入的(Hilbert and Ackermann,1928 (https://arxiv.org/html/2607.09489#bib.bib32))，但这种基于规则的定义可以定义领域 \(D\) 的任何子集，因此涵盖了语法(Chomsky,1956 (https://arxiv.org/html/2607.09489#bib.bib34))、数据库(Silberschatz et al\.,2020 (https://arxiv.org/html/2607.09489#bib.bib35))、知识图谱(Hogan et al\.,2022 (https://arxiv.org/html/2607.09489#bib.bib31))和演绎系统(Aczel,1977 (https://arxiv.org/html/2607.09489#bib.bib33))，也可能包含矛盾的事实。 对于Oma：一条规则可能说，如果候选护照照片符合当前的官方指南，那么该照片就符合申请的总体规则。 接下来我们需要说明哪些结论可以由 \(R\) 从事实 \(F\) 中证明： - •**证明。**一个定理具有假设 \(H\in\wp(D)\)、结论 \(c\in D\) 和一个证明。如果 \(R\) 中每条规则 \(\frac{P_i}{c_i}\) 的前提集 \(P_i\) 都是有限的，则证明是一个序列 \(p_1 p_2 \ldots p_n\)，使得每个 \(p_i\) 是 \(H\) 中的假设、\(F\) 中的事实，或者某条规则的结论，并且该规则的所有前提 \(P_i\) 都已在序列中出现过，且序列的最后一个元素是定理的结论。如果某些前提是无限的，证明可能依赖于超限归纳原理(Pohlers,1989 (https://arxiv.org/html/2607.09489#bib.bib20))。 对于Oma：一个证明步骤可能类似于：如果新鲜度和官方来源已被检查，则草稿可被标记为就绪。 - •**推理。**如果 \(X\) 是已经达到的事实集合，那么 \(\textsf{Infer}_{R}(F)(X) \triangleq F \cup X \cup \{c_i \mid i\in\rho \land P_i \subseteq F\cup X\}\) 将事实 \(F\) 添加到 \(X\)，并添加所有前提可从 \(F\cup X\) 获得的结论。 对于Oma：一个证明步骤可能只有在所需的来源、照片检查、CheckForm 和 ConfirmDraft 事实已经达到之后，才添加“草稿可被标记为就绪”。 - •**链式推理。**正向链反复应用 \(\textsf{Infer}_R(F)\) 来从已有事实中证明结论。反向链将一组目标 \(G\subseteq D\) 替换为能够证明该目标的规则 \(R\) 的前提：\(G \leadsto_R (G\setminus\{c\}) \cup P\) 当 \(\frac{P}{c}\in R\) 且 \(c\in G\)。 对于Oma：正向链从观察和来源开始，证明诸如“照片符合规则”或“表格就绪”之类的声明。反向链从“可标记为就绪？”开始，将其归结为来源新鲜度、照片合规性、表格完成度、CheckForm 和 Oma 的确认。 - •**闭包。**对于集合 \(B\subseteq D\)，令 \(\textsf{Infer}_R^{\ast}(B) \triangleq \textsf{lfp}^{\subseteq}(\lambda X.\textsf{Infer}_R(B)(X))\)，其中 \(\textsf{lfp}^{\subseteq}\) 是按 \(\subseteq\) 序的最小不动点，根据塔斯基定理(Tarski,1955 (https://arxiv.org/html/2607.09489#bib.bib137))，由于 \(X\mapsto\textsf{Infer}_R(B)(X)\) 在 \(X\) 上是 \(\subseteq\)-单调的。结论 \(c\) 从事实 \(F\) 和假设 \(H\) 中得到证明，当且仅当 \(c\in\textsf{Infer}_R^{\ast}(F\cup H)\)。 - •**超一致性证明。**给定 \(K=\langle D,F,R,t\rangle\)，我们说 \(K\) 证明声明 \(c\) 当且仅当 \(K\vdash c \triangleq c\in\textsf{Infer}_R^{\ast}(F)\)，并且 \(K\) 不证明 \(c\) 当且仅当 \(K\not\vdash c \triangleq c\notin\textsf{Infer}_R^{\ast}(F)\)。一个知识库可能证明一个事实、它的否定、两者都证明或都不证明。因此 \(K\vdash c\) 可能并不意味着 \(c\) 是可靠的。缺少证明并非否定：\(K\not\vdash c\) 并不蕴含 \(K\vdash\lnot c\)。我们区分四种基本状态： \(K\vdash^{+} c \triangleq K\vdash c \land K\not\vdash \lnot c\)，\(K\vdash^{-} c \triangleq K\vdash\lnot c \land K\not\vdash c\)，\(K\vdash^{\pm} c \triangleq K\vdash c \land K\vdash\lnot c\)，\(K\vdash^{?} c \triangleq K\not\vdash c \land K\not\vdash \lnot c\)。我们还使用派生简写 \(K\vdash^{\oplus} c \triangleq K\vdash^{+} c \oplus K\vdash^{-} c\) 表示单侧证明。当时间索引有用时，我们写 \(K\vdash^{\times}_t c\) 表示在时间 \(t\) 的相应基本状态，其中 \(\times\in\{+,-,\pm,?\}\)，并使用 \(K\vdash^{\oplus}_t c\) 作为派生的单侧简写。 ## 3\. 通信语言、世界、轨迹、上下文、提示词 本节介绍消息、世界状态、事件轨迹、上下文和提示词。 ### 3\.1\. 通信语言 为了通信，AI系统的组件共享一种共同语言 Lang。这种语言可以包括标签、令牌序列、通信代码、矩阵、计算机程序、数据表、URL、工具调用模式等，供AI系统使用。在下文中，写作 \(m_{*}\) 的对象是通信语言消息：Lang 的元素。它们不是世界对象，也不是语义事实。 对于Oma：在应用中，\(m_{\textit{ready}} \triangleq \texttt{result = passed}\) 被记录在轨迹中的事件 \(e_{\textit{ready}}\) 里，该事件来自点击“检查所有提交就绪”按钮以运行对当前草稿的检查。 ### 3\.2\. 通信语言的语义 现在我们需要确定消息的含义。我们写 \(\textsf{denotation}_{\textit{Lang}}:\textit{Lang} \rightharpoonup \textsf{SourceItems}\) 表示消息的指称，其中 \(\textsf{SourceItems}\) 是源项的集合，我们将在第4.2节 (https://arxiv.org/html/2607.09489#S4.SS2) 中更详细地讨论。由于指称可能未定义，我们写： \(\textsf{Denotes}_{\textit{Lang}}(m,s) \triangleq m\in\textit{Lang} \land s\in\textsf{SourceItems} \land \textsf{denotation}_{\textit{Lang}}(m)=s \text{ is defined}.\) 对于Oma：考虑应用程序就绪检查消息 \(m_{\textit{ready}}\)。它的 \(\textsf{denotation}_{\textit{Lang}}(m_{\textit{ready}}) = s_{\textit{readinessChecksPassed}}\) 记录了一个事实：根据应用设计，该消息表示一次通过的就绪检查。但如果Oma在检查后编辑了必填字段或替换了照片，该消息仍然具有相同的指称，但轨迹不再支持将其用于提交就绪的判断。因此，仅有指称并不能使源项可用。 对于Oma：在原型中，\(\textsf{denotation}_{\textit{Lang}}\) 是一个模式：通信消息 \(m\in\textit{Lang}\) 携带显式字段，而 \(\textsf{denotation}_{\textit{Lang}}(m)=s\) 仅在恰好一行匹配时定义。因此对于上面的 \(m_{\textit{ready}}\) 消息，应用记录 \(m=\{\texttt{messageType}=\texttt{CheckResultMessage},\texttt{actionKind}=\texttt{checkReady},\texttt{resourceKind}=\texttt{currentDraft},\texttt{payloadKind}=\texttt{readinessResult},\texttt{result}=\texttt{passed}\}\)，这恰好匹配一行：\(\textsf{denotation}_{\textit{Lang}}(m)=s_{\textit{readinessChecksPassed}}\)。如果没有行匹配，指称未定义；如果多于一行匹配，编排器会记录指称失败，而不是静默选择。动作、资源、结果类型以及指称所依赖的任何状态必须在 \(m\) 或轨迹中显式声明；隐藏的浏览器状态、模型状态或猜测不允许决定指称。 ### 3\.3\. 世界模型 我们的世界模型是外部状态的形式化表示，AI系统可以观察、影响或改变它。