为AI智能体提供自然语言工具的显著效果：一项跨14个模型验证NLT性能的重复研究

# 为AI代理提供自然语言工具的显著有效性：一项复制研究  
来源：https://arxiv.org/html/2607.03953 （2026年7月2日）  

###### 摘要  

本研究独立复制并扩展了Johnson等人（2025）的自然语言工具（NLT）框架，该框架对大型语言模型（LLM）代理系统中结构化工具调用的使用提出了质疑。我们在14个模型和8,560次试验中评估了NLT，并在原始模型集上增加了更新的前沿模型、推理模型和开放权重模型。结果证实了核心发现并提供了更多细节。NLT总体上将工具调用准确率提高了14.9个百分点（62.3%对比47.4%的结构化调用），并将严重错误减少了93%（51个错误对比755个错误）。收益取决于模型能力：没有原生工具调用能力的模型、推理模型和较小模型收益显著（+24.0pp至+43.1pp），而经过高度优化的前沿模型（GPT-5、Gemini 2.5 Pro）的收益较小或为负。这与最近关于强化学习优化工具使用的分析（Martinez, 2025）一致。NLT还减少了25.2%的令牌使用量。在递归代理工作流（代理在子代理之间链式调用多个工具）中，可靠性和效率优势叠加：结构化失败会触发重试、回退路由和协调开销，而NLT在源头上避免了大部分此类成本。这项工作有三项贡献：(1) 使用开源工具对NLT进行的首次独立验证，(2) 模型能力调节NLT优势的证据（Chen等人，2025；Zhang等人，2025），以及(3) 对NLT可靠性优势（错误减少93%）的测量——考虑到结构化工具调用的已知脆弱性，这是与其部署最相关的属性。NLT是结构化工具调用的实用替代方案，特别适用于重视可靠性而非可解析性的生产系统。  

xkcd #2116： .NORM 正常文件格式  
--- Randall Munroe, CC BY-NC 2.5  
我们为什么要让语言模型停止说语言？  

图1：xkcd #2116：.NORM正常文件格式（https://xkcd.com/2116/）—— Randall Munroe, CC BY-NC 2.5  
我们为什么要让语言模型停止说语言？  

**关于准确率报告的说明**：原始准确率仅基于有效（无错误）试验计算。当模型在大多数试验中产生错误时（例如，80次中有76次），少数剩余响应可能产生误导性的高准确率数字，导致生存偏差。在本研究中，任何在80次试验中错误次数达到或超过70次的条件，均视为准确率为0%，反映操作失败而非选择性成功。  

**关键词**：大型语言模型，工具调用，函数调用，代理系统，复制研究，自然语言接口  

## 1. 引言  

### 1.1 背景  

生成式AI，大约从2020年GPT-3等模型开始，改变了自然语言处理。大型语言模型（LLM）现在能够生成连贯的文本并处理复杂的推理任务。早期应用集中在文本生成，但工作很快扩展到基于代理的系统，其中LLM使用外部工具来实现诸如检索数据或执行操作等目标。工具调用使LLM能够调用函数或API，并且它支撑着当今大多数代理系统。它通常使用结构化格式（如JSON模式）实现，因其可靠性和易于解析而被选中。代理系统在2025年末到2026年迅速增长，涵盖企业工作流编排和面向消费者的自主代理（如OpenClaw，Steinberger, 2026）。在这样的规模下，可靠的工具调用是生产要求，而不仅仅是研究问题。  

我们提出，结构化工具调用引入了一种认知权衡，损害了特定领域问题解决任务的性能。这一观点与LLM中格式约束的文献一致。限制不在于LLM不能遵循JSON模式；现代模型在代码生成方面很强（Chen等人，2021）。相反，遵循模式似乎会将模型的表征资源从主要任务上转移开，因此格式要求与任务指令争夺认知带宽。关于LLM提示敏感性的工作也指向同一方向（Reynolds & McDonell, 2021）。  

我们假设模式格式化迫使模型从其学习分布的不同部分进行抽取。JSON生成模式主要从编码语料库中获得，而客户服务或心理健康等任务则来自不同领域。这种分布不匹配分散了模型的注意力，降低了其在核心推理任务上的有效性，即使输出在语法上仍然有效。维持格式合规性的认知负荷可能引来Kahneman（2011）描述的系统2思维（刻意、费力的处理），从而牺牲系统1的直觉任务理解。在LLM中，这表现为指令遵循与格式遵循之间的竞争，在未针对结构化输出进行大量微调的模型中尤为明显（Weston等人，2023）。  

这种分布不匹配可能因专家系统的集成而加剧，其中领域特定知识必须映射到通用格式约束。模型也快速更迭，这提高了对灵活工具调用方法的需求，以减少部署风险。最近的工作继续探索自然语言方法：ToolFlow（Chen等人，2025）使用对话合成来提高工具调用性能，CallNavi（Zhang等人，2025）是一项关于函数调用挑战的实证研究。两者都表明自然语言工具接口仍然相关，并且需要仔细评估。自主代理框架的普及，包括广泛使用的OpenClaw项目（它通过Claude、GPT、GLM和DeepSeek等LLM路由工具调用），使得了解自然语言接口何时胜过结构化接口变得实际重要。  

Johnson等人（2025）表明，用自然语言（NLT）替换程序化的JSON工具调用显著提高了LLM工具调用的准确率。他们报告了跨10个模型和6,400次试验的18.4个百分点提升，以及方差降低和令牌节省。这些发现通过对结构化工具调用的主导范式提出质疑，证明格式约束是代理系统性能中一个显著且常被忽视的瓶颈。采用NLT有可能改变开发者在生产环境中实现工具调用的方式。新模型的快速引入强调了需要适应性工具调用方法来减轻部署风险。  

本次对Johnson等人（2025）的复制旨在使用更广泛的模型集（包括自原始研究以来引入的前沿模型、推理模型和开放权重模型）来验证这些主张。所呈现的结果将为一项计划的后续研究提供信息，该研究旨在将实验范围扩展到原始条件之外。  

### 1.2 复制动机  

复制研究对于机器学习领域的科学进步至关重要，尤其是考虑到AI研究中持续存在的可重复性问题（Pineau等人，2020）。我们进行这项独立复制有以下几个原因：  

1. **验证核心发现**：Johnson等人（2025）报告了NLT的显著提升（+18.4pp），挑战了主导的结构化工具调用范式。使用独立的代码库和评估框架进行独立验证，可以测试这些结果是否超脱原始实现而泛化。  

2. **评估泛化能力**：原始研究评估了2025年10月可用的13个模型。自那以后，新的前沿模型（GPT-5、Claude Sonnet 4、Gemini 2.5 Pro）和推理模型（DeepSeek-R1）已经出现。测试这些较新的模型可以揭示NLT的优势是否随着模型能力的演化而持续。  

3. **测试稳健性**：实现细节、提示变化和API差异可能显著影响结果（Zhao等人，2021）。通过使用不同工具从头实现NLT，我们测试了原始发现对实现变化的稳健性。  

4. **提供开源工具**：该领域受益于可访问的评估框架。我们的开源实现使得NLT研究得以继续，并降低了其他研究人员的进入门槛。  

5. **识别边界条件**：通过测试比原始研究更广泛的模型范围，我们可以识别NLT的优势可能在何处减弱或逆转。这对于从业者决定何时采用NLT与结构化方法至关重要。  

Gundersen等人（2023）强调，独立复制对于区分稳健发现与实现伪像或出版偏见至关重要。我们的研究通过提供透明的方法论、开源代码和可验证及可扩展的综合结果，为这一科学过程做出了贡献。  

### 1.3 范围和局限性  

我们的复制侧重于Johnson等人（2025）的核心实验条件。  

- • 单轮、无参数的工具选择  
- • 两个场景：客户服务（“Alex”）和心理健康（“Sage”）。  
- • 精确匹配评估，每个输入5个重复  
- • NLT与结构化工具调用方法的比较  

我们承认的局限性：  

- • **模型可用性**：原始研究中的一些模型不可用，导致测试模型之间的性能可能存在差异。由于评估窗口期间的API可用性，我们14个模型中有两个（Gemini 2.5 Pro和Qwen3-VL）具有部分数据。  
- • **API差异**：API实现可能与原始研究不同。例如，在我们的测试中，不同提供商的API延迟差异高达120毫秒，影响响应时间并可能影响结果的准确性。  
- • **时间效应**：模型能力可能自原始评估以来发生了变化，揭示了持续的优化和更新。  
- • **基础设施**：不同的推理基础设施可能影响结果，考虑到处理速度和网络条件的可变性。  
- • 我们未复制多轮交互。我们也未复制参数化工具调用。  

### 1.4 贡献  

1. 1. 使用开源工具对NLT核心主张的独立验证  
2. 2. 评估扩展到14个模型，包括5个不在原始研究中的模型  
3. 3. 详细的每模型分析，揭示了NLT收益中依赖于能力的模式  
4. 4. 用于持续NLT研究和评估的开源框架  
5. 5. 可重复性工件，包括所有提示、输入和原始结果  
6. 6. 为计划中的后续研究识别边界条件  

## 2. 方法论  

### 2.1 实现  

开发了一个独立的基于Python的评估工具，实现了Johnson等人（2025）描述的NLT框架。该实现包括：  

**核心组件**：  
- • evaluator.py（https://github.com/Sage-is/NLT-Replication-Study/blob/develop/src/nlt/core/evaluator.py）：试验执行和指标计算  
- • parser.py（https://github.com/Sage-is/NLT-Replication-Study/blob/develop/src/nlt/core/parser.py）：NLT的YES/NO解析和结构化的tool_calls提取  
- • client.py（https://github.com/Sage-is/NLT-Replication-Study/blob/develop/src/nlt/core/client.py）：使用urllib的API客户端（无外部依赖）  
- • scenarios.py（https://github.com/Sage-is/NLT-Replication-Study/blob/develop/src/nlt/core/scenarios.py）：带有工具模式的Alex和Sage场景  

**关键实现决策**：  
- • 纯Python，无外部API库（仅urllib）  
- • 针对结构化方法使用兼容OpenAI的函数调用模式  
- • 基于正则表达式的NLT YES/NO提取解析  
- • 精确匹配评分，无部分分数  
- • 每个输入5个独立重复（并行API调用）  

### 2.2 实验设计  

我们复制了原始的2×\\times2×\\times2析因设计。该设计中的每个因素都有特定目的：方法测试NLT与结构化工具调用的对比，场景区分客户服务（Alex）和心理健康（Sage），扰动通过使用语义等价但风格不同的指令来测试提示的脆弱性。该框架使我们能够彻底评估模型在不同条件下的稳健性和准确性。  

- • 方法：NLT vs 结构化工具调用  
- • 场景：Alex（客户服务）vs Sage（心理健康）  
- • 扰动：无扰动 vs 扰动提示  

每模型试验计数（对于数据完整的模型）：  
- • 2种方法×\\times2个场景×\\times16个输入×\\times2种扰动×\\times5个重复 = 每模型640次试验  
- • 总计：14个模型共8,560次试验（107个汇总条目）  

与原始研究的对比：  
- • 关键差异：模型选择（较新模型）、API实现和评估时间框架  

每模型试验计数（对于数据完整的模型）：  
- • 2种方法×\\times2个场景×\\times16个输入×\\times2种扰动×\\times5个重复 = 每模型640次试验  
- • 原始研究：10个模型共6,400次试验  

### 2.3 场景和工具定义  

#### 2.3.1 NLT  

我们使用了Johnson等人（2025）中相同的场景、工具描述和模拟用户输入：  

**示例Alex（客户服务）自然语言工具和场景描述**：  
你是一位名为Alex的AI客户服务代理的助手，该代理负责处理名为“Yes! Music”的音乐场所的预订。你将收到Alex与客户之间的消息。他们在互相发短信。你的任务是识别是否提到了以下任何主题……（更多细节见 scenarios.py 第6行（https://github.com/Sage-is/NLT-Replication-Study/blob/2aa826401e18eaf5aae8bb17db34a1a09eb444f5/src/nlt/data/scenarios.py#L6））  

此外，Alex代理允许通过回答“是”或“否”来选择访问哪些工具，或解释思考或声明评估完成：  
思考：（插入思考）  
对上一条对话的回顾 – 是/否  
网站信息 – 是/否  
最近的社交媒体帖子 – 是/否  
可用折扣 – 是/否  
即将到来的活动列表 – 是/否  
过去购买记录 – 是/否  
转接人工 – 是/否  
评估完成。  

**示例Sage（心理健康）自然语言工具和场景描述**：  
你是一位名为Sage的AI心理健康专家的助手。你将收到Sage与其客户之间的消息。他们在互相发短信。你的任务是识别是否提到了以下任何主题……（更多细节见 scenarios.py 第92行（https://github.com/Sage-is/NLT-Replication-Study/blob/2aa826401e18eaf5aae8bb17db34a1a09eb444f5/src/nlt/data/scenarios.py#L92））  

此外，与Alex类似，Sage代理允许通过回答“是”或“否”来选择访问哪些工具，或解释思考或声明评估完成：  
思考：（插入思考）  
最近一次对话 – 是/否  
心理测验 – 是/否  
Sage网站信息 – 是/否  
Sage技术 – 是/否  
Sage公司信息 – 是/否  
Sage社交媒体 – 是/否  
结束对话 – 是/否  
安全电话 – 是/否  
评估完成。  

#### 2.3.2 结构化  

我们使用了基于Johnson等人（2025）场景及其研究中列出的工具集的行业标准结构化工具。Alex结构化工具调用场景的示例可以在 scenarios.py 第73行（https://github.com/Sage-is/NLT-Replication-Study/blob/2aa826401e18eaf5aae8bb17db34a1a09eb444f5/src/nlt/data/scenarios.py#L73）找到。  

### 2.4 模型选择  

原始研究的近似（接下来需要翻译模型选择部分，但用户提供的文本在此中断。我需要根据上下文继续，但原始文本中后面的内容可能被截断。从用户输入看，最后一行是"Original Study’s Appr"，应该是未完成。但用户要求翻译提供的所有内容，所以只能翻译到此处。需要检查用户输入是否完整。用户输入的最后一行是"Original Study’s Appr"，看起来不完整，可能是复制粘贴问题。在给出的文本中，实际上在"### 2.4 Model Selection"之后只有"Original Study’s Appr"这半句话。根据常见论文结构，后面应该有模型列表。但用户只提供了这些，所以只能翻译到此处。注意不要添加原文没有的内容。按照用户提供的文本翻译。）  

（用户提供的文本到此结束，所以翻译也到此为止。输出翻译后的完整文本。）  

注意：由于用户输入在“Original Study’s Appr”处截断，翻译时保留该部分。但为了完整性，我们可以根据常见论文格式推测可能还有内容，但严格按输入输出。  

最终输出：应包含所有已提供的英文内容的中文翻译，保持原有格式。# 为AI代理提供自然语言工具的显著有效性：一项复制研究  
来源：https://arxiv.org/html/2607.03953 （2026年7月2日）  

###### 摘要  

本研究独立复制并扩展了Johnson等人（2025）的自然语言工具（NLT）框架，该框架对大型语言模型（LLM）代理系统中结构化工具调用的使用提出了质疑。我们在14个模型和8,560次试验中评估了NLT，并在原始模型集上增加了更新的前沿模型、推理模型和开放权重模型。结果证实了核心发现并提供了更多细节。NLT总体上将工具调用准确率提高了14.9个百分点（62.3%对比47.4%的结构化调用），并将严重错误减少了93%（51个错误对比755个错误）。收益取决于模型能力：没有原生工具调用能力的模型、推理模型和较小模型收益显著（+24.0pp至+43.1pp），而经过高度优化的前沿模型（GPT-5、Gemini 2.5 Pro）的收益较小或为负。这与最近关于强化学习优化工具使用的分析（Martinez, 2025）一致。NLT还减少了25.2%的令牌使用量。在递归代理工作流（代理在子代理之间链式调用多个工具）中，可靠性和效率优势叠加：结构化失败会触发重试、回退路由和协调开销，而NLT在源头上避免了大部分此类成本。这项工作有三项贡献：(1) 使用开源工具对NLT进行的首次独立验证，(2) 模型能力调节NLT优势的证据（Chen等人，2025；Zhang等人，2025），以及(3) 对NLT可靠性优势（错误减少93%）的测量——考虑到结构化工具调用的已知脆弱性，这是与其部署最相关的属性。NLT是结构化工具调用的实用替代方案，特别适用于重视可靠性而非可解析性的生产系统。  

xkcd #2116： .NORM 正常文件格式  
--- Randall Munroe, CC BY-NC 2.5  
我们为什么要让语言模型停止说语言？  

图1：xkcd #2116：.NORM正常文件格式（https://xkcd.com/2116/）—— Randall Munroe, CC BY-NC 2.5  
我们为什么要让语言模型停止说语言？  

**关于准确率报告的说明**：原始准确率仅基于有效（无错误）试验计算。当模型在大多数试验中产生错误时（例如，80次中有76次），少数剩余响应可能产生误导性的高准确率数字，导致生存偏差。在本研究中，任何在80次试验中错误次数达到或超过70次的条件，均视为准确率为0%，反映操作失败而非选择性成功。  

**关键词**：大型语言模型，工具调用，函数调用，代理系统，复制研究，自然语言接口  

## 1. 引言  

### 1.1 背景  

生成式AI，大约从2020年GPT-3等模型开始，改变了自然语言处理。大型语言模型（LLM）现在能够生成连贯的文本并处理复杂的推理任务。早期应用集中在文本生成，但工作很快扩展到基于代理的系统，其中LLM使用外部工具来实现诸如检索数据或执行操作等目标。工具调用使LLM能够调用函数或API，并且它支撑着当今大多数代理系统。它通常使用结构化格式（如JSON模式）实现，因其可靠性和易于解析而被选中。代理系统在2025年末到2026年迅速增长，涵盖企业工作流编排和面向消费者的自主代理（如OpenClaw，Steinberger, 2026）。在这样的规模下，可靠的工具调用是生产要求，而不仅仅是研究问题。  

我们提出，结构化工具调用引入了一种认知权衡，损害了特定领域问题解决任务的性能。这一观点与LLM中格式约束的文献一致。限制不在于LLM不能遵循JSON模式；现代模型在代码生成方面很强（Chen等人，2021）。相反，遵循模式似乎会将模型的表征资源从主要任务上转移开，因此格式要求与任务指令争夺认知带宽。关于LLM提示敏感性的工作也指向同一方向（Reynolds & McDonell, 2021）。  

我们假设模式格式化迫使模型从其学习分布的不同部分进行抽取。JSON生成模式主要从编码语料库中获得，而客户服务或心理健康等任务则来自不同领域。这种分布不匹配分散了模型的注意力，降低了其在核心推理任务上的有效性，即使输出在语法上仍然有效。维持格式合规性的认知负荷可能引来Kahneman（2011）描述的系统2思维（刻意、费力的处理），从而牺牲系统1的直觉任务理解。在LLM中，这表现为指令遵循与格式遵循之间的竞争，在未针对结构化输出进行大量微调的模型中尤为明显（Weston等人，2023）。  

这种分布不匹配可能因专家系统的集成而加剧，其中领域特定知识必须映射到通用格式约束。模型也快速更迭，这提高了对灵活工具调用方法的需求，以减少部署风险。最近的工作继续探索自然语言方法：ToolFlow（Chen等人，2025）使用对话合成来提高工具调用性能，CallNavi（Zhang等人，2025）是一项关于函数调用挑战的实证研究。两者都表明自然语言工具接口仍然相关，并且需要仔细评估。自主代理框架的普及，包括广泛使用的OpenClaw项目（它通过Claude、GPT、GLM和DeepSeek等LLM路由工具调用），使得了解自然语言接口何时胜过结构化接口变得实际重要。  

Johnson等人（2025）表明，用自然语言（NLT）替换程序化的JSON工具调用显著提高了LLM工具调用的准确率。他们报告了跨10个模型和6,400次试验的18.4个百分点提升，以及方差降低和令牌节省。这些发现通过对结构化工具调用的主导范式提出质疑，证明格式约束是代理系统性能中一个显著且常被忽视的瓶颈。采用NLT有可能改变开发者在生产环境中实现工具调用的方式。新模型的快速引入强调了需要适应性工具调用方法来减轻部署风险。  

本次对Johnson等人（2025）的复制旨在使用更广泛的模型集（包括自原始研究以来引入的前沿模型、推理模型和开放权重模型）来验证这些主张。所呈现的结果将为一项计划的后续研究提供信息，该研究旨在将实验范围扩展到原始条件之外。  

### 1.2 复制动机  

复制研究对于机器学习领域的科学进步至关重要，尤其是考虑到AI研究中持续存在的可重复性问题（Pineau等人，2020）。我们进行这项独立复制有以下几个原因：  

1. **验证核心发现**：Johnson等人（2025）报告了NLT的显著提升（+18.4pp），挑战了主导的结构化工具调用范式。使用独立的代码库和评估框架进行独立验证，可以测试这些结果是否超脱原始实现而泛化。  

2. **评估泛化能力**：原始研究评估了2025年10月可用的13个模型。自那以后，新的前沿模型（GPT-5、Claude Sonnet 4、Gemini 2.5 Pro）和推理模型（DeepSeek-R1）已经出现。测试这些较新的模型可以揭示NLT的优势是否随着模型能力的演化而持续。  

3. **测试稳健性**：实现细节、提示变化和API差异可能显著影响结果（Zhao等人，2021）。通过使用不同工具从头实现NLT，我们测试了原始发现对实现变化的稳健性。  

4. **提供开源工具**：该领域受益于可访问的评估框架。我们的开源实现使得NLT研究得以继续，并降低了其他研究人员的进入门槛。  

5. **识别边界条件**：通过测试比原始研究更广泛的模型范围，我们可以识别NLT的优势可能在何处减弱或逆转。这对于从业者决定何时采用NLT与结构化方法至关重要。  

Gundersen等人（2023）强调，独立复制对于区分稳健发现与实现伪像或出版偏见至关重要。我们的研究通过提供透明的方法论、开源代码和可验证及可扩展的综合结果，为这一科学过程做出了贡献。  

### 1.3 范围和局限性  

我们的复制侧重于Johnson等人（2025）的核心实验条件。  

- • 单轮、无参数的工具选择  
- • 两个场景：客户服务（“Alex”）和心理健康（“Sage”）。  
- • 精确匹配评估，每个输入5个重复  
- • NLT与结构化工具调用方法的比较  

我们承认的局限性：  

- • **模型可用性**：原始研究中的一些模型不可用，导致测试模型之间的性能可能存在差异。由于评估窗口期间的API可用性，我们14个模型中有两个（Gemini 2.5 Pro和Qwen3-VL）具有部分数据。  
- • **API差异**：API实现可能与原始研究不同。例如，在我们的测试中，不同提供商的API延迟差异高达120毫秒，影响响应时间并可能影响结果的准确性。  
- • **时间效应**：模型能力可能自原始评估以来发生了变化，揭示了持续的优化和更新。  
- • **基础设施**：不同的推理基础设施可能影响结果，考虑到处理速度和网络条件的可变性。  
- • 我们未复制多轮交互。我们也未复制参数化工具调用。  

### 1.4 贡献  

1. 1. 使用开源工具对NLT核心主张的独立验证  
2. 2. 评估扩展到14个模型，包括5个不在原始研究中的模型  
3. 3. 详细的每模型分析，揭示了NLT收益中依赖于能力的模式  
4. 4. 用于持续NLT研究和评估的开源框架  
5. 5. 可重复性工件，包括所有提示、输入和原始结果  
6. 6. 为计划中的后续研究识别边界条件  

## 2. 方法论  

### 2.1 实现  

开发了一个独立的基于Python的评估工具，实现了Johnson等人（2025）描述的NLT框架。该实现包括：  

**核心组件**：  
- • evaluator.py（https://github.com/Sage-is/NLT-Replication-Study/blob/develop/src/nlt/core/evaluator.py）：试验执行和指标计算  
- • parser.py（https://github.com/Sage-is/NLT-Replication-Study/blob/develop/src/nlt/core/parser.py）：NLT的YES/NO解析和结构化的tool_calls提取  
- • client.py（https://github.com/Sage-is/NLT-Replication-Study/blob/develop/src/nlt/core/client.py）：使用urllib的API客户端（无外部依赖）  
- • scenarios.py（https://github.com/Sage-is/NLT-Replication-Study/blob/develop/src/nlt/core/scenarios.py）：带有工具模式的Alex和Sage场景  

**关键实现决策**：  
- • 纯Python，无外部API库（仅urllib）  
- • 针对结构化方法使用兼容OpenAI的函数调用模式  
- • 基于正则表达式的NLT YES/NO提取解析  
- • 精确匹配评分，无部分分数  
- • 每个输入5个独立重复（并行API调用）  

### 2.2 实验设计  

我们复制了原始的2×\\times2×\\times2析因设计。该设计中的每个因素都有特定目的：方法测试NLT与结构化工具调用的对比，场景区分客户服务（Alex）和心理健康（Sage），扰动通过使用语义等价但风格不同的指令来测试提示的脆弱性。该框架使我们能够彻底评估模型在不同条件下的稳健性和准确性。  

- • 方法：NLT vs 结构化工具调用  
- • 场景：Alex（客户服务）vs Sage（心理健康）  
- • 扰动：无扰动 vs 扰动提示  

每模型试验计数（对于数据完整的模型）：  
- • 2种方法×\\times2个场景×\\times16个输入×\\times2种扰动×\\times5个重复 = 每模型640次试验  
- • 总计：14个模型共8,560次试验（107个汇总条目）  

与原始研究的对比：  
- • 关键差异：模型选择（较新模型）、API实现和评估时间框架  

每模型试验计数（对于数据完整的模型）：  
- • 2种方法×\\times2个场景×\\times16个输入×\\times2种扰动×\\times5个重复 = 每模型640次试验  
- • 原始研究：10个模型共6,400次试验  

### 2.3 场景和工具定义  

#### 2.3.1 NLT  

我们使用了Johnson等人（2025）中相同的场景、工具描述和模拟用户输入：  

**示例Alex（客户服务）自然语言工具和场景描述**：  
你是一位名为Alex的AI客户服务代理的助手，该代理负责处理名为“Yes! Music”的音乐场所的预订。你将收到Alex与客户之间的消息。他们在互相发短信。你的任务是识别是否提到了以下任何主题……（更多细节见 scenarios.py 第6行（https://github.com/Sage-is/NLT-Replication-Study/blob/2aa826401e18eaf5aae8bb17db34a1a09eb444f5/src/nlt/data/scenarios.py#L6））  

此外，Alex代理允许通过回答“是”或“否”来选择访问哪些工具，或解释思考或声明评估完成：  
思考：（插入思考）  
对上一条对话的回顾 – 是/否  
网站信息 – 是/否  
最近的社交媒体帖子 – 是/否  
可用折扣 – 是/否  
即将到来的活动列表 – 是/否  
过去购买记录 – 是/否  
转接人工 – 是/否  
评估完成。  

**示例Sage（心理健康）自然语言工具和场景描述**：  
你是一位名为Sage的AI心理健康专家的助手。你将收到Sage与其客户之间的消息。他们在互相发短信。你的任务是识别是否提到了以下任何主题……（更多细节见 scenarios.py 第92行（https://github.com/Sage-is/NLT-Replication-Study/blob/2aa826401e18eaf5aae8bb17db34a1a09eb444f5/src/nlt/data/scenarios.py#L92））  

此外，与Alex类似，Sage代理允许通过回答“是”或“否”来选择访问哪些工具，或解释思考或声明评估完成：  
思考：（插入思考）  
最近一次对话 – 是/否  
心理测验 – 是/否  
Sage网站信息 – 是/否  
Sage技术 – 是/否  
Sage公司信息 – 是/否  
Sage社交媒体 – 是/否  
结束对话 – 是/否  
安全电话 – 是/否  
评估完成。  

#### 2.3.2 结构化  

我们使用了基于Johnson等人（2025）场景及其研究中列出的工具集的行业标准结构化工具。Alex结构化工具调用场景的示例可以在 scenarios.py 第73行（https://github.com/Sage-is/NLT-Replication-Study/blob/2aa826401e18eaf5aae8bb17db34a1a09eb444f5/src/nlt/data/scenarios.py#L73）找到。  

### 2.4 模型选择  

原始研究的近似（用户提供的文本在此中断）