GreenBench：在 Apple Silicon 上开源 LLM 推理的能效与碳足迹基准测试

# GreenBench：苹果芯片上开源大语言模型推理的能效与碳足迹基准测试  
来源：https://arxiv.org/html/2608.28667  
1stRajeswari Kannan 2ndRaj Firke 附属机构：红帽公司 印度浦那 rfirke@redhat\.com 3rdShreya Bengle 附属机构：独立研究员 印度浦那 shreya\.bengle@gmail\.com 4thSrushti Deshmukh 附属机构：独立研究员 印度浦那 srushtideshmukh952918@gmail\.com  

###### 摘要  

大语言模型（LLMs）的快速发展引发了对其推理过程环境影响的担忧。虽然绿色AI研究主要聚焦于数据中心GPU和嵌入式平台，但苹果芯片凭借其统一内存架构运行LLM推理的能耗特征尚未被研究。本文提出GreenBench，一个基准测试框架，用于评估五个开源LLM（3–90亿参数）在搭载48GB统一内存的苹果M4 Pro芯片上执行三项NLP任务时的能效、吞吐量和碳足迹。通过macOS的powermetrics工具直接测量功耗，并结合Ollama的纳秒级计时精度，我们发现M4 Pro在持续推理时CPU+GPU封装功耗仅0.47W，全系统总功耗为8–12W，在单用户部署中实现了比数据中心GPU高30–40倍的每token能效。较小模型（3–3.8B）比较大型模型（7–9B）吞吐量提升2.6–4.2倍，每token能耗降低高达62%。帕累托分析表明，Qwen 2.5（7B）在准确率（MMLU 57%）与效率（59 tokens/s）间达到最佳平衡，而Llama 3.2（3B）则适用于对延迟敏感的场景（175 tokens/s）。我们提供了封装级和系统级的每token能耗数据，并基于印度电网（708 g CO2/kWh）和美国电网（390 g CO2/kWh）估算了碳排放。综合来看，这些结果表明苹果芯片在单用户部署中相比数据中心GPU具有30–40倍的每token能耗优势，使消费级硬件成为可持续LLM推理的可行平台，并主张将"每token能耗"与准确率和吞吐量一同列为标准基准测试指标。  

###### 关键词：  

绿色AI，大语言模型，能效，苹果芯片，可持续AI，边缘计算，碳足迹，LLM推理，Ollama  

## I 引言  

大语言模型（LLMs）现已驱动广泛的生产负载，常规处理代码生成\[1 (https://arxiv.org/html/2608.28667#bib.bib1)\]、摘要生成\[2 (https://arxiv.org/html/2608.28667#bib.bib2)\]、问答\[3 (https://arxiv.org/html/2608.28667#bib.bib3)\]和对话式AI\[4 (https://arxiv.org/html/2608.28667#bib.bib4)\]。这些模型最初仅限于云API，现正越来越多地部署于消费设备，以满足隐私敏感、低延迟和离线应用的需求\[5 (https://arxiv.org/html/2608.28667#bib.bib5)\]。  

尽管学界高度关注训练大模型的能量成本（Strubell等人\[6 (https://arxiv.org/html/2608.28667#bib.bib6)\]估计训练单个Transformer模型的碳排放相当于五辆汽车终生排放量；Patterson等人\[7 (https://arxiv.org/html/2608.28667#bib.bib7)\]记录GPT-3训练消耗1,287 MWh电力），但推理过程的累积环境影响正日益凸显\[8 (https://arxiv.org/html/2608.28667#bib.bib8)\]。Luccioni等人\[9 (https://arxiv.org/html/2608.28667#bib.bib9)\]估计推理能耗占已部署机器学习系统全生命周期能耗的60–90%，且随着模型服务数百万日常查询，该比例持续增长。  

近期研究开始量化推理能耗，揭示出硬件与模型间的巨大差异。在数据中心环境中，30款商用LLM的能耗差异超过70倍，推理模型处理长提示时功耗超33瓦时\[10 (https://arxiv.org/html/2608.28667#bib.bib10)\]。而在另一极端，Raspberry Pi 4上的小型量化模型每token功耗约2.61焦耳\[11 (https://arxiv.org/html/2608.28667#bib.bib11)\]。解码阶段在所有硬件类型中占据主要能耗预算。当token不必要时提前终止生成可削减44–89%的能耗\[12 (https://arxiv.org/html/2608.28667#bib.bib12)\]。因此，研究者主张将"每token能耗"作为与吞吐量和准确率并列的标准指标\[13 (https://arxiv.org/html/2608.28667#bib.bib13),14 (https://arxiv.org/html/2608.28667#bib.bib14)\]。  

缺失的边缘设备数据造成了认知盲区。医疗和金融领域的严格数据驻留规则迫使模型在本地而非云端运行\[5 (https://arxiv.org/html/2608.28667#bib.bib5)\]。此外，开发者压倒性地使用Ollama和llama\.cpp等工具进行本地原型开发\[15 (https://arxiv.org/html/2608.28667#bib.bib15)\]。其次，能耗成本常是决定云与边缘部署选择的关键因素，然而用户实际依赖的消费硬件缺乏每token能耗数据。若无此类测量，基于数据中心基准得出的绿色AI建议可能对LLM增长最快的细分市场失去意义。  

尽管相关研究不断涌现，一个广泛部署的平台却未受关注：苹果芯片。M系列处理器现为全球数千万开发者和消费设备提供动力\[16 (https://arxiv.org/html/2608.28667#bib.bib16)\]，但尚无研究系统分析该硬件上的LLM推理能耗。填补此空白具有重要价值，因为苹果芯片的统一内存架构（UMA）与独立GPU设计存在显著差异：CPU、GPU和神经网络引擎共享同一物理内存池，数据路径中无需PCIe或NVLink总线。实际上，UMA消除了限制独立GPU推理的内存传输开销，允许跨计算单元的零拷贝数据共享，并使量化模型（在NVIDIA硬件上可能耗尽GPU显存）能在单一内存池中顺畅运行\[17 (https://arxiv.org/html/2608.28667#bib.bib17)\]。  

本研究通过四项贡献填补这一空白：  

1. 1\.GreenBench，一个可复现的苹果芯片开源LLM推理能耗基准框架。其方法论贡献在于双源测量管线：融合macOSpowermetrics的直接硬件功率读数与Ollama的纳秒级单次调用计时，从而在CPU+GPU封装级和全系统粒度上归因能耗——这种分解层次在以往仅依赖墙插功率计或制造商TDP标称值的工作中未曾出现。我们评估了五个架构多样的模型家族在三项NLP任务上的表现，累计进行超过1,500次推理测试。  
2. 2\.通过macOSpowermetrics获得的直接功率测量显示，M4 Pro的CPU+GPU封装在持续推理时仅消耗0.47W，而全系统总功耗估计为8–12W。  
3. 3\.提供封装级和系统级的每token能耗数据，并基于印度电网（708 g CO2/kWh）和美国电网（390 g CO2/kWh）估算CO2排放量，以支持区域化比较。  
4. 4\.帕累托最优部署指南，在准确率、速度与能耗间进行权衡。综合来看，Qwen 2.5（7B）提供最佳平衡，而Llama 3.2（3B）则是追求极致效率时的首选。  

## II 相关工作  

### II\-A 绿色AI：效率作为核心指标  

"绿色AI"一词可追溯至2020年Schwartz等人\[18 (https://arxiv.org/html/2608.28667#bib.bib18)\]的研究；他们主张计算成本应获得与准确率同等的关注。这一主张的理由正日益强化。Thompson等人\[19 (https://arxiv.org/html/2608.28667#bib.bib19)\]记录2012年以来计算需求增长约300,000倍，而同期硬件效率提升仅约3倍。MLPerf Inference\[20 (https://arxiv.org/html/2608.28667#bib.bib20),21 (https://arxiv.org/html/2608.28667#bib.bib21)\]已成为事实上的能耗基准，目前包含约900项功耗提交数据，但均来自数据中心GPU或边缘加速器。消费级笔记本电脑未被纳入。  

### II\-B LLM推理能耗测量  

已发表的LLM能耗数据主要来自数据中心GPU。在系统配置方面，Stojkovic等人\[22 (https://arxiv.org/html/2608.28667#bib.bib22)\]发现调整模型并行性、投机解码和批处理大小可在低并发时降低高达29%的能耗，但在高负载下收益会逆转。引擎选择同样重要：在单块H100上切换vLLM、TensorRT\-LLM和DeepSpeed会使每token能耗变化25–55%\[23 (https://arxiv.org/html/2608.28667#bib.bib23)\]。另一系列研究关注运行时机而非运行方式。Chien等人\[24 (https://arxiv.org/html/2608.28667#bib.bib24)\]展示了通过碳感知任务调度实现20–70%的减排效果，Dodge等人\[25 (https://arxiv.org/html/2608.28667#bib.bib25)\]提出涵盖范围二（电网电力）和范围三（硬件制造）碳排放的报告协议。  

上述研究普遍缺失非NVIDIA平台覆盖。据我们所知，唯一的苹果芯片能耗数据来自Jareño等人\[26 (https://arxiv.org/html/2608.28667#bib.bib26)\]，他们针对M4芯片上的单个1B参数模型调优llama\.cpp：仅一个数据点，无跨模型比较。此外也缺少"每瓦特token数"这一直接关联生成速度与能耗的指标。  

### II\-C 量化与模型压缩实现高效推理  

将十亿参数模型装入笔记本内存需要重度权重压缩。Dettmers等人\[27 (https://arxiv.org/html/2608.28667#bib.bib27)\]证明INT8量化可在最小质量损失下将内存占用减半；Frantar等人\[28 (https://arxiv.org/html/2608.28667#bib.bib28)\]随后通过GPTQ将此推进至4位。实践中，llama\.cpp\[15 (https://arxiv.org/html/2608.28667#bib.bib15)\]以GGUF容器格式分发模型，该格式捆绑多种量化预设（Q4\_K\_M、Q5\_K\_M、Q8\_0、FP16）。所有测试均采用Q4\_K\_M量化格式，这是Ollama的默认设置，且根据下载统计数据，正是大多数终端用户实际运行的配置。由于压缩方式在所有模型间保持一致，我们测得的功耗差异可归因于架构本身而非量化器。  

### II\-D 消费硬件上的边缘AI  

针对Raspberry Pi\[11 (https://arxiv.org/html/2608.28667#bib.bib11)\]、NVIDIA Jetson\[29 (https://arxiv.org/html/2608.28667#bib.bib29)\]和手机级SoC\[30 (https://arxiv.org/html/2608.28667#bib.bib30)\]的边缘推理基准已经存在。Xu等人\[5 (https://arxiv.org/html/2608.28667#bib.bib5)\]综述了这些平台，并识别出三个反复出现的瓶颈：内存带宽、散热空间和能耗预算。苹果芯片已被Ignatov等人\[31 (https://arxiv.org/html/2608.28667#bib.bib31)\]评估用于CNN和经典机器学习负载，但无人测量其上的LLM推理能耗——尽管LLM解码是内存带宽密集型任务，而苹果的UMA设计理应在此产生最大影响。本文正是为了回答这一问题。  

## III 方法论  

### III\-A 硬件平台  

所有实验均在单台配备M4 Pro芯片的苹果MacBook Pro（型号Mac16,8）上进行。表I (https://arxiv.org/html/2608.28667#S3.T1)列出了相关硬件细节。  

表I：硬件规格  
该机器的独特之处在于其**统一内存架构（UMA）**：CPU、GPU和神经网络引擎均可从同一48GB内存池以高达273 GB/s的速度读取数据。在独立GPU工作站中，权重需通过PCIe链路从CPU内存复制至GPU显存，而UMA完全规避了这一传输。对于LLM推理（权重获取主导运行时间）而言，其实际收益在于：最高约300亿参数的4位量化模型均可直接装入内存并运行，无需手动内存管理。  

### III\-B 研究模型  

表II (https://arxiv.org/html/2608.28667#S3.T2)列出了本研究使用的五个模型家族。它们跨越3–4B、7B和9B三个参数层级，且没有两个模型依赖相同的注意力机制。  

表II：GreenBench评估的模型  
\*微软模型卡将Phi\-3 Mini列为3.82B参数。此处四舍五入为3.8B以匹配Ollama注册标签phi3:3\.8b。  

模型选择基于若干实际约束而非穷举搜索。我们希望覆盖广泛的开源家族、架构多样性（包含分组查询、多查询、滑动窗口和标准注意力机制）、参数量适配48GB统一内存且覆盖消费部署相关的3–9B范围，并且考虑到可复现性，选择可直接从Ollama注册表拉取的模型。  

所有模型均以4位量化（GGUF格式的Q4\_K\_M）运行。这并非随意选择：它是Ollama的默认设置，且下载统计数据表明这正是大多数消费部署实际使用的配置。报告此配置下的数据反映的是用户下载模型后立即运行的真实情况，而非手动调优的最佳状态。  

### III\-C 基准任务  

基准包含三项任务，其输出长度和计算模式各有差异：  

MMLU（问答）：  
我们从大规模多任务语言理解基准\[3 (https://arxiv.org/html/2608.28667#bib.bib3)\]的10个学科中抽取100道选择题，包括抽象代数、大学物理、电气工程等STEM学科；大学化学、高中生物等自然科学；以及计算机安全、机器学习等应用领域。答案简短（约15个token），因此该任务主要评估记忆能力和短程推理链，而非生成能力。为确保仅返回单个字母，我们使用直接提示："回答以下选择题。仅返回选项字母（A、B、C或D）。"  

摘要生成：  
将五篇CNN/DailyMail文章\[2 (https://arxiv.org/html/2608.28667#bib.bib2)\]（各截断至2,000字符）凝练为2–3句摘要。输出长度约100–200个token，介于另外两项任务之间，因此摘要任务是评估理解与生成质量的有用中等案例。  

代码生成：  
使用全部164道HumanEval问题\[1 (https://arxiv.org/html/2608.28667#bib.bib1)\]，为模型提供函数签名和文档字符串，让其编写函数体。这是基准中输出最长的任务，通常为150–300个token的结构化代码。此处关注生成负载本身而非代码正确性，因此不运行生成函数与测试套件的比对。  

### III\-D 能耗测量方法论  

每token能耗通过结合硬件功率读数与请求级计时日志计算得出，可得到两个详细层级：CPU+GPU封装级和全系统级。墙插功率计无法区分这两者，制造商的TDP数据同样如此。  

#### III\-D1 直接功率测量  

我们每两秒采样一次macOS的powermetrics以获取封装功耗，该数据已按CPU、GPU和神经网络引擎（ANE）分解。表III (https://arxiv.org/html/2608.28667#S3.T3)报告了这些数据。  

表III：通过powermetrics获得的直接功率测量  
空闲时，GPU运行频率338 MHz，功耗30 mW。在通过Ollama的Metal后端持续运行Qwen 2\.5（7B）推理时，GPU功耗升至115–167 mW。