@ClementDelangue：笔记本上本地开放权重 AI 的进步速度已超过摩尔定律的两倍！从 2024 年 5 月到 202…

X AI KOLs Following 新闻
open-weight local-ai llm-performance moores-law inference hardware-efficiency

摘要

Hugging Face CEO Clement Delangue 表示，在硬件配置不变的情况下，笔记本端本地开放权重 AI 的性能提升速度已达摩尔定律的 4.7 倍，并以模型从 Llama 3 70B 演进至 DeepSeek V4 Flash 的进展作为佐证。

笔记本上本地开放权重 AI 的进步速度已超过摩尔定律的两倍！在 2024 年 5 月至 2026 年 5 月期间，你能买到的最顶配 MacBook Pro 的统一内存仍停留在 128 GB，硬件上限几乎毫无变化。但在 @ArtificialAnlys 智能指数上，你能在该设备上实际运行的来自 @huggingface 的最强开放权重模型得分，已从 10 分（Llama 3 70B）跃升至 47 分（基于 @antirez mixed-Q2 GGUF 格式的 DeepSeek V4 Flash）。这意味着在 24 个月内提升了 4.7 倍，相当于智能水平每 10.7 个月翻一番。而摩尔定律（晶体管数量）的翻倍周期为 24 个月。在硬件完全不变的情况下，笔记本端本地开放权重 AI 的进步速度已超过摩尔定律的两倍。
查看原文

相似文章

@TheAhmadOsman: 本地AI现在很好了

X AI KOLs Following

Ahmad宣布了一个本地AI硬件竞技场，使用ODS在RTX PRO 6000、DGX Spark、Strix Halo、M5 MacBook Pro和ChatGPT等硬件上对LLM进行基准测试，并邀请社区为未来的比较提供意见。

@danveloper: https://x.com/danveloper/status/2064387956387758206

X AI KOLs Timeline

一位开发者通过在NVMe SSD上流式传输模型权重，在树莓派5上运行了DeepSeek-V4-Flash，达到了1.3 tokens/秒的速率，功耗仅8瓦，证明了前沿级别的开放权重模型在低成本、离线硬件上的可行性。