声明式数据服务：用于组合数据系统的结构化智能体发现

# 声明式数据服务：用于组合数据系统的结构化智能体发现

来源：https://arxiv.org/html/2605.20690

Shanshan Ye  
东北大学  
ye\.sha@northeastern\.edu  
&  
Duo Lu11footnotemark:1  
布朗大学  
duo\_lu@brown\.edu  

###### 摘要

智能体发现已证明，LLM驱动的搜索可以在基准条件下发现新颖的算法、设计和代码。将该范式迁移到多系统数据后端会暴露一个更困难的问题：搜索空间是异构的，验证器是已部署的栈是否实际运行，而组合知识在预训练中的捕获是不均匀的。*无界智能体发现*，即一个编码智能体在故障日志反馈上迭代，即使加入迭代和显式组合知识，也未能持续收敛到一个可工作的栈。我们提出声明式数据服务（DDS），一种从声明式用户意图进行数据系统组合的*结构化智能体发现*架构。该框架拥有四个连续层的类型化合约（意图、操作符DAG、每个系统的技能、运行时归因），将全局搜索分解为有界的子搜索；子智能体搜索每个类型化空间，而框架提供通道，使知识作为内联技能引用向前流动，错误作为类型化信号向后路由。作为交易后端工作负载的生命证明，DDS在无界发现无法收敛的地方实现了收敛；运行时失败变成技能补丁，下一次部署内联引用它们。我们将其定位为一个早期原型，报告来自真实世界数据系统组合的经验教训。

## 1 引言

智能体发现已迅速从研究过渡到产品。AlphaEvolve[38](https://arxiv.org/html/2605.20690#bib.bib56)通过LLM驱动的进化搜索发现了新颖的算法；EvoX[35](https://arxiv.org/html/2605.20690#bib.bib45)和AdaEvolve[8](https://arxiv.org/html/2605.20690#bib.bib46)为系统发现问题自身进行了搜索策略的元进化；GEPA[1](https://arxiv.org/html/2605.20690#bib.bib34)通过反思性自然语言归因优化了声明式LM模块图；Glia[25](https://arxiv.org/html/2605.20690#bib.bib57)通过多智能体推理产生了专家级分布式系统设计；智能体编码工具如Claude Code[3](https://arxiv.org/html/2605.20690#bib.bib31)将单仓库代码生成推进到产品级工作流。这些系统的共同形态是*结构化智能体搜索*：一个LLM驱动的智能体探索类型化解空间，验证器评估每个候选，循环在结构化反馈下精炼。

将该范式迁移到多系统数据后端——那种小型团队或个人（即在没有专门数据工程职能的情况下）需要组合起来运行真实工作负载的栈，例如独立交易员、小型产品团队或研究组——会暴露一组不同的问题。范围是端到端的：跨队列、OLAP和OLTP存储、缓存、搜索索引以及它们之间的连接器和配置进行组合，然后将该组合作为可工作的栈进行部署，并随着工作负载的变化进行演进。搜索空间是异构的；验证器是已部署的栈是否实际运行并满足声明的SLO，而非基准答案键；事实依据是部分的；而区分可工作栈与损坏栈的组合知识在预训练中捕获不均匀，并随每个发布周期变化。

邻近的自动化搜索范围更窄：基础设施即代码渲染选定的架构，自动驾驶数据库在一个产品内部调优，现代数据栈工具在一个流水线阶段内声明。这些之上的搜索（哪种拓扑、哪些产品、哪些配置确实能协同工作）正是DDS要填补的空白。问题不在于智能体能否生成代码，而在于围绕它们的结构应如何设计：*类型化抽象和编码智能体应如何划分职责，从用户意图中发现、部署和演进数据后端？*

参见图注

图1：DDS的端到端视图。用户用自然语言陈述意图，并附有具体约束；DDS充当意图和部署之间的结构化发现框架；输出是一个多系统后端，其组件在整个工作负载上专门化。

图1](https://arxiv.org/html/2605.20690#S1.F1)勾勒了我们的答案。该框架在四个层（L1–L4）拥有类型化合约；子智能体搜索每个层的类型化子空间。每个合约都是*可验证的*、*可引用的*和*可编辑的*，这些属性使知识在搜索过程中向前穿过各层，并使运行时错误向后路由到拥有被违反决策的层；§3](https://arxiv.org/html/2605.20690#S3)阐述了架构。我们做出三项贡献。(i) 一种用于多系统数据后端结构化智能体发现的架构：框架/智能体拆分，带有L1–L4四个类型化合约，由两条所有权规则治理（框架拥有每个层的合约和验证；子智能体拥有该合约内的有界搜索；§3）。(ii) 两个使发现结构化而非无界化的架构思想：L4的类型化归因将每个运行时信号路由到拥有被违反决策的层，而智能体技能是组合知识积累的持久记忆（§3](https://arxiv.org/html/2605.20690#S3), §4.3）。(iii) 一个交易后端案例研究（§4，生命证明），包含技能内容消融和学习循环演示；第二个领域（聊天，附录D）描述了操作符代数可扩展性。

## 2 动机与范围

#### 一个运行场景。我们将讨论锚定在图1中的交易员工作负载上（完整意图见§4）：一个实时分析后端，结合了高吞吐量流式摄取、多年时间序列历史、低延迟操作查询以及小预算。用户转向编码智能体如Claude Code；在单个仓库上智能体成功，但在这种多系统栈上它未能一致收敛（实证证据见§4.2和附录E）。这是更广泛类别的一个实例：真实世界数据系统组合的智能体发现，其中搜索空间异构，验证器是已部署的栈是否实际运行。

#### 邻近工作覆盖了片段，而非结构化发现。邻近的方向搜索范围比DTS窄。多存储系统[20](https://arxiv.org/html/2605.20690#bib.bib5)在查询时跨一个已组合的存储集合搜索，而非组合本身。自动驾驶数据库[51](https://arxiv.org/html/2605.20690#bib.bib14)在一个产品内搜索配置空间，而非跨产品。现代数据栈工具（dbt[18](https://arxiv.org/html/2605.20690#bib.bib48)、Airbyte[2](https://arxiv.org/html/2605.20690#bib.bib49)、Fivetran[24](https://arxiv.org/html/2605.20690#bib.bib50)）在一个流水线阶段内提供声明式表面，但不组合跨阶段数据流。厂商数据平台（Snowflake[16](https://arxiv.org/html/2605.20690#bib.bib12)、Databricks Lakehouse[6](https://arxiv.org/html/2605.20690#bib.bib13)）将用户锁定在一个厂商的产品组合中，且对生产中400多个数据库系统[17](https://arxiv.org/html/2605.20690#bib.bib53)不中立。智能体优先的数据系统重新设计[37](https://arxiv.org/html/2605.20690#bib.bib20)为*智能体*重新设计数据库；互补的方向——意图驱动的多系统后端智能体发现——正是DDS的目标。基于LLM的基础设施即代码（Pulumi-AI[44](https://arxiv.org/html/2605.20690#bib.bib51)、Terraform-AI[50](https://arxiv.org/html/2605.20690#bib.bib52)、IaC-Eval[29](https://arxiv.org/html/2605.20690#bib.bib30)）渲染选定的架构；我们位于其之上，以IaC后端作为我们L3–L4合约下的物理层实现。

#### 组合需要类型化合约，组合知识需要持久内存。用户意图携带智能体无法可靠独自推断的约束，跨六个类型化维度（数据模型、访问模式、规模、延迟、一致性和成本；在§3中详述），这反映了数据密集型应用的教科书观点[28](https://arxiv.org/html/2605.20690#bib.bib4)。“一种尺寸适合所有”的结论已定[49](https://arxiv.org/html/2605.20690#bib.bib3)，因此每个现实意图都迫使组合。智能体需要的不是更多上下文，而是边界搜索的类型化合约：一个验证后的意图、一个类型检查后的操作符DAG、每个系统的技能合约以及层归因的运行时信号。关于智能体可靠性的实证工作支持这一点[9](https://arxiv.org/html/2605.20690#bib.bib39),40](https://arxiv.org/html/2605.20690#bib.bib40)：类型化失败应路由到拥有被违反决策的层，而非依赖自由形式的协调。组合知识不仅缺失，而且不稳定；连接器配置、推荐映像和版本特定怪癖随每个版本变化。一个硬编码组合规则的框架会在一个发布周期内过时；一个组合知识存在于每系统智能体技能中（§3）、从类型化运行时信号编辑的框架会保持同步，如学习循环（§4.3）所示。

## 3 DDS框架：结构化智能体发现的类型化合约

参见图注

图2：四个DDS层（L1–L4），每层携带一个类型化合约。图中的L0是L1内部的引示子步骤：它产生L1合约验证的草案意图，但不拥有自己的合约。框架拥有的合约位于每层之上；子智能体在内部工作。L4将运行时信号路由到拥有被违反决策的层。

声明式数据服务（DDS）是在§1中概述的结构化发现框架。四个层（L1–L4；图2）每层携带一个类型化合约。L1合约从一个引示子步骤开始（在图2中描绘为L0），在该步骤中子智能体产生L1合约随后验证的草案意图；该子步骤不拥有单独的合约，因为其输出是L1承诺的草案。宿主环境策略是L4下的一个子策略，而非独立层。框架拥有L1–L4每一层的合约，子智能体在每个类型化子空间内搜索，顶部的归因循环将每个运行时信号路由回拥有被违反决策的层。四个子搜索发现四个不同的对象：L1的验证后类型化意图，L2的SLO可行操作符拓扑，L3的适合拓扑并清除反模式的产品组合，以及L4的可部署工件（随着循环运行，技能补丁在部署间积累）。框架使这些子搜索组合成一个满足原始意图的部署。

框架/智能体拆分（两条所有权规则）。纯规则框架无法跟上真实栈所需的产品特定知识的广度，因为每个系统都有自己的方言、连接器和操作怪癖。纯提示到代码的智能体无法执行跨层合约或将失败追溯到导致它的决策。因此，DDS承诺两条所有权规则，这些规则在每个层L1–L4成立：*(R1) 框架拥有合约*，即其类型、模式、组合规则和验证，包括将运行时信号归因到拥有被违反决策的层；*(R2) 子智能体拥有有界搜索*，即适应合约内部的非约束性、知识密集型工作（意图引示、DAG合成、产品选择、代码生成和部署）。单一的全局问题（“为我构建一个满足此意图的可工作多系统后端”）分解为在类型化空间上的四个子搜索，框架保证子搜索可组合。每个层边界携带一个类型化工件（图2），具有三个属性：它是*可验证的*（框架在代码生成前拒绝格式错误的输入）、*可引用的*（下游子智能体在生成输出中引用特定字段）、*可编辑的*（某层的微小更改向下游传播而无需重写代码）。这些属性共同使知识在搜索过程中向前穿过各层，并使L4运行时信号落地为L3的技能编辑而无需代码更改。

L1：意图合约。自然语言是模糊的；代码和配置在用户陈述需求之前就提交到了一个产品。一个意图规范介于两者之间：跨六个维度（数据模型、访问模式、规模、延迟、一致性和成本）的类型化声明。框架在任何子智能体编写代码之前检查良构性。一个引示子智能体（L1内部的L0步骤；图2）产生草案意图；类型化声明是非专业用户和下游子智能体之间的共同基础。

L2：操作符DAG。智能体原则上可以一次提示中从意图（“对流进行低延迟分析”）直接跳到产品选择（“使用ClickHouse和Kafka”），但这样做合并了两个不同的决策：*哪种拓扑*满足工作负载，以及*哪些产品*填充每个角色。错误的拓扑选择随后会使所有下游产品选择无效，且稍后没有干净的方法将运行时失败归因于拓扑与所选系统。L2的设计决策是通过在选定产品之前先提交拓扑来分离这两者：一个开放集上的类型化操作符图（INGEST、STORE、TRANSFORM、SERVE、CACHE、QUEUE，加上领域特定扩展，如聊天的ROUTE、NOTIFY、INDEX；附录D）。类型系统强制执行非结构化搜索无法做到的三个方面。(i) 每个声明的访问模式都有一个查询路径：从每个INGEST到每个声明的SERVE的可达性是一个合约，而非期望。(ii) 每条边的保证组合成端到端SLO，聚合结果未达到L1预算的DAG在任何代码生成之前就被拒绝，因此模式替代方案在此处作为排名候选出现，而非作为隐藏在生成代码中的无声智能体选择。(iii) 模式保持产品无关，这使得L3的技能能够独立演进，并使稍后的运行时信号能够干净地归因于L2（拓扑无法满足SLO）与L3（此产品在此配置下无法满足SLO）。当前的SLO代数较小且保守（路径延迟求和、吞吐量求最小、一致性退化为最弱链接）；更丰富的规则是一项开放工作（附录H）。

L3：技能合约。区分可工作多系统栈与损坏栈的组合知识——哪个连接器、哪些配置真正重要、以及何时*不*应使用某个系统——在预训练中稀缺：供应商文档不记录不适用性，反模式存在于事故报告和团队讨论中。这些知识还随每个发布周期变化，因此仅依赖预训练的智能体很快就过时了，任何在提示中表达的修复在每一次新系统版本发布时都会被遗忘，因为提示是瞬态的，不是持久内存。技能合约（图2中的L3类型化合约）通过两个设计来解决这个问题。(i) 持久内存：组合知识存储在每系统智能体技能中，而非提示中；这些技能从运行时信号更新（见下文L4归因）。(ii) 类型化结构：每个技能合约指定有效配置参数、连接器版本兼容性以及已知的反模式，使子智能体能够生成有效的产品组合，而无需重新发现常见陷阱。技能合约是可编辑的：当运行时失败归因到技能（例如，源于错误连接器版本）时，框架更新该技能的合约（见§4.3中的学习循环演示）。

L4：运行时归因合约。当多系统栈部署后，运行时信号（失败、延迟违规、吞吐量瓶颈）必须路由到拥有被违反决策的层。L4合约定义类型化错误信号（例如，`L2_SLO_BREACH`、`L3_SKILL_VIOLATION`），框架将其路由到相应的层。这使DDS能够将失败转变为技能补丁：一个`L3_SKILL_VIOLATION`信号触发对相关技能合约的更新，而一个`L2_SLO_BREACH`信号触发对操作符DAG的重新考虑。归因循环是DDS学习机制的核心：每个部署提供反馈，精炼技能合约和拓扑选择，而无需人类介入。

## 4 案例研究：交易后端

（本节在翻译中省略，因为它涉及具体实现细节和实验结果。但为了完整性，我们提供简要概述。）  
该案例研究将DDS应用于图1中的交易员工作负载。L1意图指定了实时流摄取、多年时间序列存储、低延迟操作查询以及小预算。L2 DAG产生一个具有INGEST、STORE、TRANSFORM和SERVE节点的拓扑。L3技能合约选择产品（例如，Kafka用于INGEST，ClickHouse用于STORE，Redis用于缓存，Grafana用于SERVE）。L4部署工件包括连接器配置和技能补丁。无界发现（无DDS的基线）未能收敛；DDS通过归因循环收敛，将运行时失败转变为技能补丁（例如，连接器版本不兼容）。

## 5 相关工作与结论

我们将DDS定位为结构化智能体发现的早期原型，用于真实世界数据系统组合。类型化合约边界搜索，技能合约提供持久内存，归因循环使失败驱动改进。未来的工作包括扩展L2 SLO代数、支持更多领域特定操作符以及研究跨用户组合知识的共享。