口袋级推理基准测试

# 消费级推理系统 | Artificial Analysis 来源：https://artificialanalysis.ai/hardware-inference-stack/mobile-phones ## 智能与推理性能摘要 ### 平均分数（16K最大上下文）与端到端生成时间iPhone 17 Pro 五项评估的简单平均分，旨在反映真实世界移动设备使用场景：BFCL（子集）、IFBench、AA-Omniscience、GPQA Diamond、MATH-500 · 上下文限制为16K token · 端到端时间指处理1024个token的提示并生成256个token响应所需秒数 这是一项简单的平均分，基于五项旨在反映真实世界移动设备使用场景的评估，针对能适配便携式硬件的小型模型运行，并由Artificial Analysis独立测量。详情请参阅方法论（https://artificialanalysis.ai/methodology/mobile-device-benchmark-set）。 处理1024个token的提示并生成256个token响应的总挂钟时间。请注意，这取决于所使用的硬件和模型架构，不包含模型表达冗长程度或多轮对话倾向的影响。 ## 推理性能 ### 端到端生成时间iPhone 17 Pro 处理1024个token的提示并生成256个token响应所需秒数 · 数值越低越好 处理1024个token的提示并生成256个token响应的总挂钟时间。请注意，这取决于所使用的硬件和模型架构，不包含模型表达冗长程度或多轮对话倾向的影响。 ## 模型智能 ### 平均分数（移动设备基准集，16K最大上下文）iPhone 17 Pro 五项评估的简单平均分，旨在反映真实世界移动设备使用场景：BFCL（子集）、IFBench、AA-Omniscience、GPQA Diamond、MATH-500 · 上下文限制为16K token · 数值越高越好 因模型无法适配此设备或超出时间限制，性能测量已省略 这是一项简单的平均分，基于五项旨在反映真实世界移动设备使用场景的评估，针对能适配便携式硬件的小型模型运行，并由Artificial Analysis独立测量。详情请参阅方法论（https://artificialanalysis.ai/methodology/mobile-device-benchmark-set）。 ## Token效率 ### 上下文预算超限 在该模型的所有评估运行中，因达到16K token限制而提前停止的生成次数 · 数值越低越好 ## 评估细分 ### 移动设备基准集评估（16K最大上下文）iPhone 17 Pro 由Artificial Analysis独立测量的智能评估 · 上下文限制为16K token · 数值越高越好 BFCL 工具调用（索引子集） IFBench 指令遵循 AA-Omniscience 准确率 知识 AA-Omniscience 非幻觉率 1 - 幻觉率 GPQA Diamond 科学推理 MATH-500 定量推理