边缘-云LLM系统中功能调用的碳感知路由

# 边缘-云LLM系统中函数调用的碳感知路由  
来源：https://arxiv.org/html/2609.13559  
Aikaterini Maria Panteleaki https://orcid.org/0009-0005-7827-8875, Varatheepan Paramanayakam https://orcid.org/0009-0000-1982-9693, Spyros Tragoudas https://orcid.org/0009-0006-2575-3588, Iraklis Anagnostopoulos https://orcid.org/0000-0003-0985-3045  
隶属单位：南伊利诺伊大学卡本代尔分校电气、计算机与生物医学工程学院  
邮箱：[email protected], [email protected], [email protected], [email protected]  

###### 摘要  

具备函数调用能力的大语言模型（LLMs）正成为现代智能体AI系统的关键组件。然而，当前部署通常将推理任务路由至强大的云端模型，导致显著的能源消耗和碳排放。我们通过碳感知路由框架来解决这一可持续性挑战，该框架将函数调用查询分配到三层边缘-云架构中，结合了异构硬件上的边缘和云端LLM。其核心是一个轻量级k-NN预测器，在统一的语义-词法嵌入空间中运行，可估算每个边缘层上查询特定的准确率、延迟和功耗。这些预测结果与实时电网碳强度相结合，将每个查询路由到能够成功执行的最低排放层。在最先进的函数调用基准测试和LLM系列上的评估表明，该框架在保持云端级准确率的同时，平均减少了4倍的运行碳排放。  

###### 索引关键词：  

可持续计算，函数调用LLM，碳感知路由  

## I 引言  

大语言模型（LLMs）已从文本生成系统演进为具备交互式工具使用能力的复杂决策智能体。促成这一演进的关键能力是函数调用，即智能体自主选择并调用可用工具中特定函数的过程，使其能够：（i）访问外部数据源，（ii）执行超出LLM参数知识的计算，（iii）与软件系统和API交互。函数调用是现代智能体AI系统的基本构建模块[1]，但其复杂性和准确率要求使得部署倾向于将推理路由至强大的云端模型这一昂贵默认选择，无论任务本身多么简单[2]。先前关于边缘设备上可持续性感知LLM执行的研究表明，动态工具选择和碳感知功率自适应可在边缘硬件上减少高达52%的排放[3]。  

这种方法的环境影响相当显著。仅ChatGPT每天就处理超过25亿次查询，消耗约850兆瓦时电力，足以给14,000辆电动汽车充满电[4]。ChatGPT的年能耗达到310吉瓦时，大致相当于为29,000美国家庭供电一年。包括Gemini和Claude在内的竞争对手在内，总年耗电量达到15太瓦时，相当于两座核反应堆的发电量[4]。关键是，推理目前是这一碳足迹的主要贡献者，因为云提供商的报告表明，推理占机器学习（ML）云计算总需求的80-90%，占ML相关能耗的60%[5]。随着函数调用智能体的持续增长，始终默认使用云端将只会放大这一趋势。  

表 I：BFCL V2 [1]上LLMs的成功率、每次查询能耗及估算碳排放  

边缘解决方案提供了一个有前景的替代方案。如表I所示，边缘部署的模型（如Llama3.1-8B）每次查询的能耗比其70B云端对应物少约25倍，碳排放节省也成比例[7,6]。然而，准确率仍是瓶颈。在伯克利函数调用排行榜V2（BFCL V2）[1]上，Llama3.1-70B达到97.8%的成功率，而较小的边缘变体Llama3.1-8B和Llama3.2-1B分别仅达到56.5%和13.6%。然而，这种准确率差距并非在所有查询上均匀分布。许多函数调用任务（如单工具调用、简单检索或结构化查询）不需要大规模模型的推理能力，小型边缘模型即可正确处理。这种固有的异构性创造了一个设计机遇：*我们能否在异构的边缘-云层级间动态分配函数调用查询，以在保持任务级正确性的同时最小化碳足迹？* 虽然碳感知和节能执行已通过基于注意力的多DNN管理和边缘服务器上的碳驱动功率限制应用于DNN工作负载[8,9]，但将这些原则扩展到LLM函数调用仍是一个开放挑战。  

现有的LLM路由器[10,11,12]将查询分发到不同模型以在准确率和成本间取得平衡，但忽略了底层硬件、功耗以及为每个层级供电的电网碳强度。缺乏这些信号，即使成功将负载从云端转移的路由器也只能捕获部分可用的碳节省，因为它们无法在特定时刻识别特定查询最绿色的层级。在本文中，我们将函数调用推理视为性能-功耗-碳排放（PPC）约束的路由问题，并提出了一个解决该问题的碳感知框架。查询被分配到一个三层边缘-云架构，包括运行在低功耗边缘SoC上的微型/小型LLM（1-4B）、运行在边缘加速器上的小型LLM（7-12B）以及托管在云端的大型LLM（>100B）。该框架是在NSF可持续AI项目2324854内开发的[13,14]，主要贡献如下：  

1. 分析性性能建模。我们开发了一个在统一语义-词法嵌入空间中运行的轻量级k-NN回归模型，作为每层正确执行概率、推理延迟和碳足迹的分析预测器。通过从历史执行中学习，该模型无需调用底层LLM即可实现快速设计空间探索。  
2. 碳感知路由策略。利用这些预测，我们制定了一个路由策略，选择满足任务级准确率约束且最节能的层级，同时适应实时电网碳强度。  
3. 全面评估。通过在最先进的函数调用基准测试上的实验，我们表明我们的方法在保持云端级成功率的同时，平均减少了4倍碳排放，对于更简单的查询减少高达8倍，证明了PPC感知分层推理的有效性。  

## II 方法论  

参见标题  
图 1：碳感知路由框架架构  

**系统架构**  
图1概述了我们的框架。我们考虑一个三层异构边缘-云架构，其中每一层代表模型能力和硬件平台的独特组合，在准确率和碳效率之间提供不同的权衡：  

1. **第1层（微型/小型语言模型）** 在资源受限的边缘设备上部署参数量为1-4B的模型，每次查询能耗最低，但对复杂任务的推理能力有限。  
2. **第2层（小型语言模型）** 在边缘基础设施上托管参数量为7-12B的模型，准确率高于第1层，能耗远低于云水平。  
3. **第3层（大型语言模型）** 运行部署在数据中心基础设施上的参数量超过100B的基于云的模型，以最高的环境成本提供最先进的准确率。  

在运行时，层级选择由（i）性能预测器和（ii）碳感知路由器执行，两者如图1所示。性能预测器为每个边缘层上的查询-层对估算正确执行概率、推理延迟和功耗。碳感知路由器将这些预测与每个层电网的实时碳强度相结合，并将每个查询分配到预测成功概率满足可配置准确率阈值的最低排放层，仅当没有边缘层符合时才回退到云端。  

**性能预测**  
碳感知路由的一个关键要求是能够在执行前估算查询在每个边缘层上的行为。对于每个查询 \(q_i\) 和边缘层 \(\tau \in \{\text{Tier 1}, \text{Tier 2}\}\)，我们的性能预测器输出正确执行概率 \(P(\text{Success}(q_i, \tau))\)、推理延迟 \(D(q_i, \tau)\) 和功耗 \(w(q_i, \tau)\)。这三个量共同决定了将查询路由到该层的预期碳足迹。  

预测器通过离线校准阶段运行，其中每个校准查询被编码到语义-词法嵌入空间。该空间结合了语义嵌入（捕获查询的语言和结构内容）以及词法复杂度评分（衡量低频词使用，这是与LLM感知查询难度相关的信号[15]）。对于每个校准查询，我们根据真实情况记录二进制成功结果，以及目标硬件上测量的推理延迟和功耗。与其他生成式AI任务不同，函数调用不接受部分正确性，因为调用错误工具或遗漏必需工具会导致整个响应失败，二进制成功指标反映了这一点。  

在运行时，每个传入查询被映射到嵌入空间。k-最近邻（k-NN）回归模型使用余弦距离识别k个最相似的校准查询，并为每个边缘层生成成功概率、延迟和功耗的距离加权预测。对所有三个量使用相同的邻域可确保预测保持互一致，捕捉复杂查询在微型模型上准确率降低且延迟增加的联合相关性等趋势[16]。与需要训练且可能过拟合的ML路由模型不同，我们的k-NN是非参数化的，无需训练，且运行时开销可忽略不计。  

**碳感知路由**  
为了计算每个路由决策的碳成本，我们将预测的延迟和功耗与每个层电网的实时碳强度相结合。在层 \(\tau\) 上执行查询 \(q_i\) 的碳足迹为：  

\[
\text{CF}(q_i, \tau) = \text{CI}_{\tau} \cdot \text{D}(q_i, \tau) \cdot \text{w}(q_i, \tau)
\]  

(1)  

其中 \(\text{CI}_{\tau}\) 是为层 \(\tau\) 供电的电网实时碳强度，单位为 \(\mathrm{gCO}_{2}/\mathrm{kWh}\)，而 \(\text{D}(q_i, \tau)\) 和 \(\text{w}(q_i, \tau)\) 是从性能预测器获得的预测推理延迟和功耗。  

路由策略将每个查询动态分配到能够成功执行的最节能层级。我们首先识别预测成功概率满足最小准确率阈值 \(P(\text{Success}(q_i, \tau)) \geq \theta\) 的边缘层，并从中选择估计碳足迹最小的层。如果没有边缘层符合条件，则将查询路由到第3层：  

\[
\tau_i^* = 
\begin{cases} 
\underset{\tau \in \{\text{Tier 1, Tier 2\}}}{\arg\min} \text{CF}(q_i, \tau), & \text{if } \exists \tau: P(\text{Success}) \geq \theta \\
\text{Tier 3}, & \text{otherwise}
\end{cases}
\]  

(2)  

此策略确保仅当没有边缘层满足准确率要求时才触发第3层，从而最大程度地减少最高排放层的使用。  

## III 评估  

**实验设置**  
我们在两个具有不同特性的函数调用基准测试上评估我们的框架：BFCL V2 [1]和GeoEngine [17]。BFCL V2涵盖数学、编码和一般推理等领域的任务，而GeoEngine针对地理空间应用，难度较高，需要顺序函数调用，其中每个调用都依赖于前一个结果。对于每个基准测试，我们采用80-20划分，使用20%的查询进行校准，80%进行评估。我们报告成功率为成功执行查询占真实情况的百分比，并将准确率阈值设置为 \(\theta = 0.9\)。  

每个层地理位置的实时碳强度值由Electricity Maps API [18]提供。第1层部署在NVIDIA Jetson Orin Nano [19]上，第2层部署在更强大的NVIDIA Jetson AGX Orin [20]上，第3层通过Fireworks AI平台[21]在H100 SXM GPU上托管云端LLM。第3层在所有配置中运行来自OpenAI的GPT-OSS-120B。对于第1层和第2层，我们在四个模型系列上评估我们的路由策略以展示泛化能力：Qwen3 (1.7B, 8B)、Gemma3 (4B, 12B)、Llama3.1 (xLAM-1B, 8B)和Falcon3 (3B, 7B)。  

**基线路由方法**  
我们将碳感知路由框架与五种基线进行比较。  

1. **仅云端** 将所有查询转发到第3层，以最高的碳成本最大化准确率。  
2. **仅边缘** 将所有查询路由到第2层，优先考虑本地执行以减少碳排放，但牺牲了准确率。  
3. **TensorOpera** [10] 实现了一个针对准确率和成本优化的多模型路由器。它作为我们不感知碳的对应物，以量化碳感知带来的收益。  
4. **HybridLLM** [11] 使用一个学习的双向路由器将每个查询分配给小模型或大模型。我们将其调整为在第2层和第3层之间路由，以隔离额外利用第1层带来的碳节省。  
5. **Less-is-More** [12] 通过动态减少可用工具集以匹配查询复杂度，优化了边缘设备上的函数调用效率。我们将部署限制在第2层，因为它被设计为单设备优化而非多层路由器。  

（表格数据：第3层占比依次为9.8%, 3.3%, 2.2%, 8.7%；第2层占比依次为47.8%, 67.4%, 77.2%, 72.8%；第1层占比依次为42.4%, 29.3%, 20.7%, 18.5%）