LLM生成的技能能否让AI数据科学家表现更佳？数据科学工作流的组件消融研究

# LLM生成的技能能否造就更好的AI数据科学家？数据科学工作流中的组件消融研究
来源：https://arxiv.org/html/2607.07504
###### 摘要

产品数据科学家经常请求基于LLM的智能体协助处理重复性执行任务，例如数据清洗、编写SQL、选择统计检验以及格式化结果。可复用的技能文件旨在通过打包针对某任务族的指导，避免每次从头开始提示。专家编写的技能可以编码高质量的指导，但在众多数据科学任务族中编写和维护这些技能会带来手动瓶颈。我们探究LLM生成的技能是否提供了一种有用的低策展替代方案：相较于仅使用任务提示，它们是否提升了性能？

我们在四个生命周期阶段测试了这个问题：数据准备、数据提取、统计分析和报告，每个阶段使用一个生成的技能。我们发现，完整的生成技能相较于无技能提示并未带来可靠的性能提升。接着，我们通过消融不同的技能组件来探究技能的某一部分是否有用。主要的消融实验覆盖了56个任务、九种模型配置和三个提供商，共计7,560次运行。

与仅使用任务提示相比，无论是完整的生成技能还是任何消融后的技能变体，均未显著提升性能；所有p值至少为0.396，各变体之间的总差距仅为1.2个百分点。一个补充的令牌匹配控制实验增加了1,512次运行，发现完整技能的表现与任务无关的技能格式内容相似。结果警示，将每个数据科学工作流使用一个LLM生成的技能作为默认的单次提示策略并不可取。

大语言模型，数据科学智能体，智能体技能，提示工程，消融研究，数据科学自动化

††会议：第1届AI数据科学家国际研讨会；2026年；韩国济州岛††ccs：计算方法论 人工智能

## 1. 引言

产品数据科学家经常请求基于LLM的智能体协助处理重复性执行任务：数据清洗、编写SQL、选择统计检验、计算效应量以及格式化报告。我们称这些系统为数据科学智能体，依据近期数据科学自动化基准测试（Zhang et al., 2025 (https://arxiv.org/html/2607.07504#bib.bib16)；Lai et al., 2022 (https://arxiv.org/html/2607.07504#bib.bib6)）。对于这些系统，模型选择只是设计问题的一部分。另一部分是如何提供领域知识。

近期的智能体平台和基准测试使用可复用的技能文件，例如`SKILL.md`，来打包任务指令、示例和参考说明（Anthropic, 2025 (https://arxiv.org/html/2607.07504#bib.bib2)；Li et al., 2026 (https://arxiv.org/html/2607.07504#bib.bib9)）。对于数据科学智能体，这提供了一种诱人的工作流：为重复性任务族（如数据准备、SQL生成、统计分析和报告）编写一个技能，然后将其预先附加到未来的任务中。

专家编写的技能可以编码高质量指导，但它要求从业者决定包含什么内容、编写示例和参考说明，并在工具和任务惯例变化时保持内容更新。当团队需要为众多数据科学任务族提供指导时，这种手动流程扩展性差。LLM生成的技能提供了一种低策展的替代方案：为任务族生成一次指导，然后在相关任务中重复使用。问题在于这种低策展版本在实践中是否有效。

现有证据表明，这并非有保证。SkillsBench（Li et al., 2026 (https://arxiv.org/html/2607.07504#bib.bib9)）（86个任务，7,308条轨迹）发现，人工策展的技能显著提升了性能（+16.2个百分点），而LLM生成的技能则未带来整体收益。然而，SkillsBench并未专门评估数据科学工作流的可复用技能。

这个零结果也引发了一个组件层面问题：当LLM生成的技能未能提升性能时，是否每个组件都无帮助，或者有用的部分被有害的部分抵消了？对于数据科学智能体的构建者来说，探究LLM生成的技能在数据科学工作流中是否有帮助，以及在无帮助时出现哪些失败模式，是很有用的。

我们研究了四个面向执行的数据科学生命周期阶段中的这些问题。每个阶段由一个覆盖不同工作流的任务族表示：数据准备（空值处理、去重、类型转换）、数据提取（SQL查询生成）、统计分析（假设检验、效应量）和报告（结构化JSON报告）。这些工作流代表了数据科学智能体的常见执行任务，其输出可以通过确定性验证器进行检查。

我们的评估分为两部分。首先，我们比较仅任务提示与每个阶段的一个完整LLM生成技能。其次，我们消融相同的技能，以测试是否有任何部分单独有帮助。我们使用简化的单次设置，以便比较聚焦于技能内容本身。第3节 (https://arxiv.org/html/2607.07504#S3) 描述了这一设计选择。

我们做出三项贡献：

- • 我们评估了低策展的LLM生成技能，用于跨四个生命周期阶段、56个任务、九种模型配置和7,560次主要消融运行的数据科学智能体。
- • 我们消融了程序、示例和参考说明，然后添加了一个1,512次运行的令牌匹配控制实验，以将数据科学内容与提示长度开销分离开。
- • 我们观察到无论是完整技能还是消融后的变体，都没有可靠的性能提升，并分析了跨任务体制不同的失败模式。

## 2. 相关工作

我们的研究处于提示层面知识注入、可复用技能以及数据科学任务LLM基准测试的交叉点。

`SKILL.md`规范是近一种可复用领域指令的形式，用于LLM提示（Anthropic, 2025 (https://arxiv.org/html/2607.07504#bib.bib2)）。提供任务上下文的相关方式包括检索增强生成（Lewis et al., 2020 (https://arxiv.org/html/2607.07504#bib.bib7)）和少样本提示（Brown et al., 2020 (https://arxiv.org/html/2607.07504#bib.bib3)）。先前的工作也表明，提示组件可能以不明显的方式影响模型行为：Min et al. (2022 (https://arxiv.org/html/2607.07504#bib.bib11)) 发现演示中标签正确性的重要性不如格式和输入分布，Lu et al. (2022 (https://arxiv.org/html/2607.07504#bib.bib10)) 展示了示例顺序会显著影响性能。我们从单个提示元素转向可复用的技能文件，探究当注入数据科学任务时，其内容是否有帮助。

可复用技能也已被直接评估。SkillsBench（Li et al., 2026 (https://arxiv.org/html/2607.07504#bib.bib9)）发现聚焦的人工策展技能提升了性能，而LLM生成的技能未带来整体收益。SkillLearnBench（Zhong et al., 2026 (https://arxiv.org/html/2607.07504#bib.bib17)）研究连续技能学习方法，发现相对于无技能基线有收益，但没有任何方法在任务和模型上占优。SkVM（Chen et al., 2026 (https://arxiv.org/html/2607.07504#bib.bib4)）将技能视为跨异构LLM后端编译的能力。这些研究激发了测试可复用技能的必要性，但它们没有探究在数据科学工作流中，生成技能的哪些部分有帮助或有害。

在基准测试方面，DS-1000（Lai et al., 2022 (https://arxiv.org/html/2607.07504#bib.bib6)）、DataSciBench（Zhang et al., 2025 (https://arxiv.org/html/2607.07504#bib.bib16)）和LLM4DS（Nascimento et al., 2024 (https://arxiv.org/html/2607.07504#bib.bib12)）评估了数据分析任务的LLM代码生成，并表明强模型仅从任务提示就能解决许多数据科学任务。这为可复用技能创造了一个严峻的测试：如果仅任务提示已经覆盖了许多常见的数据科学程序，技能就没有多少空间来帮助，甚至可能增加成本或与任务特定指令冲突。这些基准测试评估了数据科学能力，但并未测试可复用技能是否提升了该领域的性能。

近期数据准备和表格推理系统也指出了另一种支持形式，而非静态的前置指令。PrepBench评估自然语言驱动的数据准备，并强调模糊意图、不完美的真实数据、交互式消歧、代码生成和工作流转换（Xu et al., 2026 (https://arxiv.org/html/2607.07504#bib.bib14)）。AutoDCWorkflow从原始表格和分析目的生成数据清洗工作流，然后评估答案、数据和工作流质量（Li et al., 2025 (https://arxiv.org/html/2607.07504#bib.bib8)）。Chain-of-Query使用多智能体协作和逐子句SQL生成进行表格理解（Sui et al., 2025 (https://arxiv.org/html/2607.07504#bib.bib13)）。这些系统没有直接评估可复用的技能文件，但它们暗示了扁平提示注入的一个局限性：数据科学智能体可能需要任务特定的编排、验证和反馈。

## 3. 实验设计

### 3.1. 技能构建

我们使用启用了扩展思维的Gemini 2.5 Pro编码智能体为每个生命周期阶段生成一个技能（共四个技能）。该智能体接收目标工作流、所需章节结构和`SKILL.md`模式，并在编写每个完整技能之前可以研究目标领域和相关基准测试。每个技能在一次自主会话中生成，无人为编辑、候选项选择或迭代优化。这就是我们研究的低策展工作流：为一个任务族生成一个技能，然后按原样复用。

每个技能包含四个部分：

- • *路由*（约50 tokens）：激活触发器，指定何时应用技能
- • *核心程序*（约190 tokens）：逐步工作流指令
- • *工作示例*（约225 tokens）：具体的输入→输出演示
- • *参考说明*（约225 tokens）：补充启发式规则和惯例

这些部分对应于Anthropic的智能体技能文档中的内容类型（Anthropic, 2025 (https://arxiv.org/html/2607.07504#bib.bib2)）。与Anthropic推荐的架构（将参考材料存储在按需加载的单独文件中）不同，我们将所有部分作为单个扁平文件注入。我们做出这一选择是为了分离内容：实验测试的是当模型看到生成技能内容时是否有帮助，而不是一个单独的加载器能否在正确的时间检索正确的文件。因此，本研究不应被视为对选择性加载或渐进式披露的评估。该格式也符合常见的低策展实现：一个单一markdown文档，无需明确工具来支持多文件包。

消融变体是通过从完整技能中机械删除部分生成的，而不是通过单独的生成运行。这对于因果解释很重要：技能变体仅在哪些部分存在上有所不同。各部分被编写成自包含的，因此删除不会留下孤立的交叉引用。这种设计使我们能够将完整技能与移除了支持内容的变体进行比较，同时保持基本任务程序和生成源固定。

### 3.2. 消融条件

我们的消融将工作示例和参考说明视为两个独立的二元因素，路由和核心程序保持不变。我们将路由和核心程序放在一起，因为没有激活触发器和程序步骤，其余部分缺乏作为连贯技能所需的上下文。路由在我们的设置中也是冗余的，因为每个技能仅与其匹配生命周期阶段的任务配对。这产生了四种技能条件加上一个无技能基线：

1. (1) 无技能：仅任务提示
2. (2) 仅核心：路由 + 核心程序
3. (3) 核心+示例：路由 + 核心程序 + 工作示例
4. (4) 核心+参考：路由 + 核心程序 + 参考说明
5. (5) 完整：所有四个部分

技能内容使用固定模板无条件地作为用户消息前缀注入（`[SKILL START] ... [SKILL END]`，后跟任务提示），涵盖所有条件和提供商。

无技能基线仅包含任务提示，没有注入的技能包装或控制文本。因此，比较是在相同的任务提示单独使用与相同的任务提示附加生成的技能内容之间进行。

长度控制测试了一个更简单的替代解释：模型可能是对长的、技能格式化的前缀做出反应，而不是对有用的数据科学指导。为了测试这一点，我们添加了一个补充的`长度控制`条件。对于每个生命周期阶段，我们创建一个与任务无关的办公用品设置技能，使用相同的注入包装、markdown风格组织，以及令牌化长度与对应的完整技能相差在1%以内。

我们使用连贯的办公用品指导，而不是随机字符串，因为随机字符串可能造成不切实际的干扰。控制组给模型提供了看似合理的程序指令、示例和说明，但均无助于数据清洗、SQL、统计分析或报告。我们将其视为控制组，而不是无害的安慰剂，因为无关的指令仍可能改变模型行为。比较完整技能与长度控制可以估计生成的数据科学内容是否比添加类似长的、技能格式化的上下文更有帮助。

泛型技能指导可能与任务提示冲突。如果主要问题是优先级模糊，一条简短的规则告诉模型遵循任务而非技能，应能挽回一些失败。为了测试这一点，我们定义了一个补充的`完整+优先级`条件：它使用与完整技能相同的`full.md`技能文件，但在`[SKILL END]`之后、任务提示之前插入一条用户消息指令，声明任务指令优于冲突的技能指导。这是一个提示层面的任务优先于技能的指令，而非系统层面的指令层次结构或检索控制的优先级机制。

这些补充条件是围绕主要扁平注入消融的窄检查。它们不测试选择性加载、系统层面指令优先级或模式/工具约束。

该设计还省略了专家编写或任务特定的正控制技能。这保持了聚焦于低策展的LLM生成技能，但意味着本研究并未测试该基准是否能够检测到精心编写的技能内容带来的收益。

### 3.3. 任务与生命周期映射

我们评估了56个任务（每个生命周期阶段14个），映射到四个数据科学工作流：

- • 数据准备（14个任务）：CSV清洗，包括空值插补、去重、类型转换和日期标准化
- • 数据提取（14个任务）：针对关系数据库的SQL查询生成，使用Spider（Yu et al., 2018 (https://arxiv.org/html/2607.07504#bib.bib15)）和标准基准数据库的模式
- • 统计分析（14个任务）：假设检验、效应量计算和统计推断，使用标准数据集（Fisher Iris (Fisher, 1936 (https://arxiv.org/html/2607.07504#bib.bib5))、mtcars、PlantGrowth、ToothGrowth）
- • 报告（14个任务）：从API响应（GitHub Events、OpenWeatherMap、REST Countries）生成结构化JSON报告

这些任务涵盖了产品数据科学工作的可验证执行层，而非完整的产品决策生命周期。我们有意排除了上游的产品框架设计和实验设计，因为这些任务通常依赖业务上下文、利益相关者约束、工程可行性和