NS-Copilot：一个用于自主神经科学分析的LLM驱动代理系统

# 一种用于自主神经科学分析的大型语言模型驱动代理系统  
来源：https://arxiv.org/html/2609.01971  

吴车  
单位：计算机与数据科学系，凯斯西储大学  
美国俄亥俄州克利夫兰市 44106  

乔怡然  
单位：计算机与数据科学系，凯斯西储大学  
美国俄亥俄州克利夫兰市 44106  

侯琳琳  
单位：计算机与数据科学系，凯斯西储大学  
美国俄亥俄州克利夫兰市 44106  

杨锐  
单位：计算机与数据科学系，凯斯西储大学  
美国俄亥俄州克利夫兰市 44106  

蒲书森  
单位：数学与统计系，西佛罗里达大学  
美国佛罗里达州彭萨科拉市 32514  

王松  
单位：计算机科学系，中佛罗里达大学  
美国佛罗里达州奥兰多市 32816  

通讯作者：[wxl713@case\.edu](mailto:[email protected]), [jing\.ma5@case\.edu](mailto:[email protected])  
马静  
单位：计算机与数据科学系，凯斯西储大学  
美国俄亥俄州克利夫兰市 44106  

###### 摘要  
人工智能正迅速推动神经科学发展，然而许多实验室由于显著的跨学科障碍而未能充分释放其潜力。尽管针对生理数据的预训练神经模型发展迅速，但其异构架构和特定模态的限制阻碍了系统性集成、选择和评估。尽管近期基于大语言模型的代理系统在智能科学应用方面取得了进展，但现有方法通常仍然缺乏有效选择和协调多样化神经科学预训练模型以及处理该领域独特数据类型所需的领域专业知识。我们提出 NS-Copilot，这是一个用于神经科学分析的大语言模型驱动多代理系统，可自主支持多样化专业任务的端到端工作流程。它统一了领域特定的预训练模型，并通过自然语言接口支持关键神经科学模态，包括脑电图和细胞外尖峰数据。给定原始数据和任务描述，NS-Copilot 会编排具有专业角色（规划、自适应控制、代码生成和结果综合）的代理，无需针对数据集的特定启发式方法即可实现分析。我们在涵盖阿尔茨海默病、帕金森病和工作记忆尖峰解码的神经科学基准上评估了 NS-Copilot。在每个任务的 8 次试验中，该系统在主要指标上持续优于强基线，展示了 NS-Copilot 在有效且可扩展的神经科学分析方面的能力。

## 1 引言  
尽管人工智能正驱动神经科学取得快速进展，但重大的跨学科障碍仍然限制了该领域充分实现其潜力。针对生理数据的预训练神经模型已快速发展（Jiang 等人，2024；Ouahidi 等人，2025；Ye 等人，2025；Azabou 等人，2023），但它们的异构架构和特定模态的限制使系统性集成、模型选择和严格评估变得困难（Xiong 等人，2026；Kastrati 等人，2025）。与此同时，尽管近期在科学和通用大语言模型代理系统方面取得了进展（Shen 等人，2023；Huang 等人，2026），但大多数主要依赖代码生成或通用数据分析和机器学习工具包，这些工具通常不适合特定领域应用，并且缺乏有效选择和协调多样化预训练神经科学模型以及处理高度专业化数据类型所需的领域专业知识。这一差距凸显了对能够支持端到端神经科学分析工作流程的自主系统的需求。尽管如此重要，这个问题仍带来三个核心挑战。  

首先，弥合原始数据与模型特定输入要求之间的接口差距。  
许多预训练神经科学模型期望数据以高度特定和领域相关的格式呈现，这包括特定的采样率、通道布局和张量形状。这一严格要求反映了整个生态系统中深层的架构异构性。准备原始记录以满足这些严格的约束，需要对底层数据集结构和目标模型的预处理流程有极其深入的理解，这对非专业用户构成了难以逾越的障碍。  

其次，为特定的神经科学数据集和任务选择最优的方法或模型。  
理想的选择取决于多个因素的复杂相互作用：数据模态（例如，脑电图 vs. 细胞外尖峰）、通道配置、记录范式和特定的分类目标。由于没有单一的预训练架构能在所有条件下占据主导地位，因此必须针对每个数据集进行选择。通用的 AutoML 系统（Erickson 等人，2020）不在领域特定的预训练模型上进行搜索，而脑电图基准（Xiong 等人，2026）标准化了评估，但需要手动的逐模型配置。  

第三，基于执行结果自适应优化分析工作流程。  
即使选择了合适的模型并且数据格式正确，由于超参数不匹配、特征工程无效或评估策略有缺陷，生成的管道也可能产生次优性能。从这种失败中恢复需要对根本原因进行诊断并确定优化策略以自适应调整工作流程，这超出了现有自修复方法（Chen 等人，2024；Shinn 等人，2023）所解决的代码级错误纠正。  

我们提出 NS-Copilot，一个自主的大语言模型驱动的神经科学分析代理系统，它通过统一的管道解决上述三个挑战，仅需要原始神经数据和自然语言任务描述。NS-Copilot 在不同应用中集成了多个预训练神经科学模型。为弥合接口差距，一个 Coder 代理在运行时根据声明式工具规范（描述每个模型的输入要求）自动生成数据预处理和模型调用代码。为解决模型选择问题，一个 Planner 代理自动分析用户输入和数据集元数据（模态、通道数、采样率和类别分布），确定适当的评估指标，并构建一个动态优先排序的兼容模型队列进行选择。为实现自适应优化，一个 Controller 代理分析执行指标，诊断次优结果的根本原因，并动态引导系统进行有针对性的代码修补（修改）或由 Planner 进行完整的策略重新合成（重规划）。最后，一个 Interpreter 总结最终的评估结果。  

总而言之，我们的核心贡献如下：  

- • 统一的预训练模型编排框架。我们提出了 NS-Copilot，一个新颖的大语言模型驱动代理系统，它首次整合了跨不同神经科学数据模态和任务的九个代表性预训练模型，实现了无需针对数据集特定启发式方法的完全自动化神经科学分析。  
- • 自动化模型选择。我们设计了自动模型选择协议，其中 NS-Copilot 中的 Planner 自动分析数据集特征和用户意图，以确定主要评估指标并构建兼容模型的优先队列，一旦候选模型超过性能阈值即触发早停。  
- • 具有显式修改与重规划路由的闭环诊断。我们设计了一个自主的 Controller，用于诊断次优执行结果，并在有针对性的代码修补（修改）和完整的策略重新合成（重规划）之间进行显式路由，实现无需人工干预的迭代优化。  
- • 跨多样化神经范式的实证验证。我们在涵盖阿尔茨海默病、帕金森病和工作记忆解码的三个基准上评估了 NS-Copilot，在每个基准的主要指标上它都优于所有基线。

## 2 相关工作  
#### 用于脑数据的神经基础模型。  
针对神经记录数据的预训练基础模型可以按其目标模态进行大致分类。对于宏观脑电图信号，一个快速增长的自监督模型家族旨在从大规模临床和研究语料库中学习可泛化的表示。代表性工作包括 LaBraM、CBraMod、REVE、EEGPT、EEGMamba 和 BrainOmni，其架构从 Transformer 到状态空间模型不等，预训练规模从 2,500 小时到超过 60,000 小时。NeuroLM、BIOT 和 Neuro-GPT 等模型进一步扩展了这一生态系统。对于细胞外尖峰记录，NDT3、MtM 和 POYO-1 等模型针对多电极阵列数据，分别采用自回归预测、多任务掩码和交叉注意力机制来学习跨会话和脑区的可迁移神经动态。值得注意的是，NDT3 进一步展示了跨物种泛化能力，涵盖非人灵长类和人类参与者。尽管进展迅速，该生态系统仍然高度碎片化。每个模型具有不同的输入约束，包括特定的通道蒙太奇、采样率和数据格式，使得跨模型比较既费力又容易出错。近期的基准测试工作，如 EEG-FM-Bench 和 EEG-Bench，已经开始标准化 EEG 模型的评估；然而，这些基准测试需要针对每个模型进行手动配置，并且不涵盖尖峰模态。至关重要的是，据我们所知，目前还没有现有框架提供一个统一的接口，能够根据未见数据集的特征自动选择、调用和评估这些异构模型。  

#### 科学代理。  
 several systems have attempted to use LLMs as agents for scientific data analysis. EEGAgent 使用大语言模型协调 EEG 分析工具，但不会在闭环中生成或执行代码。NeuroWeaver 将 EEG 管道设计形式化为带有自调试的进化代码搜索问题，但它仅针对单一模态，并且不调用预训练基础模型。SciDataCopilot 为 EEG 和 MEG 工作流程提供了一个代理式数据准备框架，具有代码生成和执行功能，但其工具空间仅包含预处理程序，而非基础模型。Biomni 是一个通用的生物医学代理，集成了超过 150 个工具，并支持检索增强规划和代码执行，但它面向广泛的生物医学任务，而非神经记录分析。NOBEL 在单一的大语言模型骨干内统一了 EEG、MEG 和 fMRI 的表示，但它作为一个单一的端到端模型存在，而非编排多个独立基础模型的代理。并发系统 SpikeAgent 和 BCI-Agent 分别将大语言模型/视觉语言模型代理应用于尖峰分类和细胞类型分类，两者范围都较窄。上述系统均未将神经科学领域中多个预训练神经基础模型整合到一个统一的编排管道中，以实现自动化的模型选择、代码生成、执行和评估。  

#### 通用代理。  
在通用代理领域，AutoML 系统（如 AutoGluon、FLAML 和 Auto-sklearn）自动化了传统机器学习模型的模型选择和超参数调整，但它们的搜索空间不包含领域特定的预训练基础模型。HuggingGPT 和 TaskMatrix.AI 展示了大语言模型驱动的预训练专家模型选择，然而它们的选择依赖于任务语义和模型描述，而非输入数据的特征。关于代码自修复，Self-Debugging 教会大语言模型通过执行反馈调试自己的代码，Reflexion 使用语言强化学习积累跨尝试的经验，Self-Refine 迭代生成反馈和修订而无需额外训练。这些方法主要解决代码级错误（语法和运行时异常）。我们的 Controller 将这一范式扩展到执行指标分析，诊断结果不佳的根本原因，并在有针对性的代码修补和完整重规划之间做出显式选择。这种修改与重规划的路由已在通用机器学习工程代理中被探索；然而，据我们所知，尚无用于闭环神经科学数据分析的大语言模型代理将此路由作为其 Controller 的核心机制。

## 3 方法  
### 3.1 概述  
图 1：NS-Copilot 系统概述。  
左列：用户提供数据集和用于任务描述的自然语言提示。系统中通过声明式工具规范为 Planner 提供一个预训练模型注册表。Planner 自适应选择主要指标，构建优先模型队列，并生成分析计划。然后，Coder 合成用于数据预处理和模型调用的代码，并在沙盒环境中执行。  
中间列：结果模块将执行结果与性能阈值进行比较。如果当前模型未能超过此阈值...