标签
苹果的M5 Ultra芯片与M3 Ultra相比，本地LLM的token生成速度提升高达1.5倍，提示处理速度提升4倍，内存带宽和存储速度有所提升，但代价高昂。
一位开发者分享了FreeToken的分支版本，这是一个边缘原生的MoE服务引擎，新增了DeepSeek-V4.1支持、Qwen模型的视觉功能以及推测解码，包括在双RTX 3090硬件上的基准测试数据。
作者计划花费100美元使用云GPU对Qwen3.8-27B模型进行基准测试，包括不同的量化级别和KV缓存设置，重点关注编码和智能体任务，为本地AI爱好者提供有用数据，并寻求社区对测试方法的意见。
作者比较了用于LLM推理的各种GPU，批判了常见的基准测试，并强调了预填充性能比生成速度更重要，针对不同预算和使用场景给出了建议。
本文深入解析内存带宽作为本地 AI 硬件性能的关键指标，对比了 NVIDIA、Apple、AMD、Intel 等厂商在不同性能层级下的当前 GPU 与统一内存系统。