@kyzoroX:"没有CUDA,你的Mac在AI方面就是废物,买那台$4K的DGX吧。" 说对了一半——而错的那一半要花掉你4000美元。CU…

X AI KOLs Timeline 新闻

摘要

一条推文反驳了“没有CUDA的Mac对AI毫无用处”的说法,并展示了相关基准测试结果:一台Mac Mini在处理30B参数模型时,生成速度可达56 t/s。推文认为,Mac Mini足以胜任本地推理任务,而DGX则在训练和预填充环节表现出色。

"没有CUDA,你的Mac在AI领域就是废柴,买$4K的DGX吧。"——说对了一半,而错的那一半要你花4000美元来买单。 CUDA在训练和一些框架中确实重要,这没错。但"运行本地模型"?我在同一款30B模型上对Mac Mini和DGX做了基准测试:生成速度分别是56 vs 84 tokens/秒。不算废柴——完全可用,比你阅读速度快,而且不需要CUDA。llama.cpp和Ollama才不在乎芯片上贴的是什么logo。 以下是那段视频故意跳过的诚实分析: - 商业化微调、纯CUDA流水线、大上下文预填充 → 是的,DGX值这个价 - 运行本地模型并与之聊天 → 你的Mac已经能很好地完成 DGX不是定价过高,而是定位错位。它是一台预填充和训练的机器,不是一台"你的Mac是垃圾"的机器。为真正需要它的工作负载买单——而不是因为CUDA焦虑症。 完整的三方基准测试(DGX vs Strix Halo vs Mac Mini,预填充 vs 生成)已置顶。
查看原文
查看缓存全文

缓存时间: 2026/07/14 04:24

“你的 Mac 在 AI 方面没有 CUDA 就是废物,买 4000 美元的 DGX 吧。” 这话对了一半——而错的那一半让你多花了 4000 美元。

CUDA 对训练和一些框架很重要。这是事实。但“运行本地模型”?我在同一款 30B 模型上给 Mac Mini 和 DGX 做了基准测试:生成速度分别是 56 t/s vs 84 t/s。并非没用——完全可用,比你阅读还快,而且不需要 CUDA。llama.cpp 和 Ollama 根本不关心芯片上印着什么 logo。

以下是那支视频刻意忽略的真实区别:

  • 商业微调、CUDA 独占管线、大上下文预填充 → 没错,DGX 对得起它的价格
  • 运行和对话本地模型 → 你的 Mac 已经能很好地完成

DGX 并不贵,而是定位有误。它是一台预填充和训练机器,而不是“你的 Mac 是垃圾”机器。为真正需要它的工作负载买单——而不是出于 CUDA 焦虑症。

完整的三方基准测试对比(DGX vs Strix Halo vs Mac Mini,预填充 vs 生成)已置顶。

相似文章

@MemoryReboot_: 为什么 Mac Studio 是本地 AI 的陷阱——大统一内存看似美好,但适合聊天机器人,不适合 24/7 的工具调用工作流——没有 CUDA 意味着没有 vLLM、SGLang 和张量并行——花 1 万多美元买一台无法升级的“死胡同”设备,就像拥有一辆最高时速只有 100 公里的保时捷

X AI KOLs Timeline

文章认为,尽管 Mac Studio 拥有大容量统一内存,但由于缺乏 CUDA 支持且硬件不可升级,它并不适合 24/7 的本地 AI 工作流。

本地模型优化(3 分钟阅读)

TLDR AI

本文分析了在 MacBook Pro 上本地运行 AI 推理的可行性,对比了本地 Qwen 35B 模型与云端 Claude Opus 4.5。结论是,对于常规任务,本地模型速度快 2 倍,尽管在能力上略有差距,但仍是日常工作量中一半任务的实用选择。