标签
Antirez 报告称,DeepSeek v4 PRO 在配备 512GB 内存的 Mac Studio M3 Ultra 上使用 2 位量化运行良好,预填充速度达到 130 t/s,生成速度达到 13 t/s。
中国一个10岁孩子用Mac Studio运行多个AI代理,凸显了理解token和自动化的AI原生代儿童的崛起。
DGX Spark与Mac Studio M5 Max在本地运行LLM的对比,重点比较了解码速度、预填充性能、内存、功耗和成本。Mac在解码带宽上胜出,但DGX在预填充方面更快并支持批处理。
DS4 是由 antirez 开发的专业推理引擎,专为在高端 Mac 硬件上本地运行 DeepSeek V4 Flash 而设计,具有优化的 KV 缓存处理和 100 万上下文支持。
Apple 已从在线商店下架搭载 M3 Ultra 的 256GB 配置 Mac Studio,引发市场对未来机型存储选项的猜测。
文章认为,尽管 Mac Studio 拥有大容量统一内存,但由于缺乏 CUDA 支持且硬件不可升级,它并不适合 24/7 的本地 AI 工作流。
作者分享了一份针对本地运行大语言模型(LLM)的硬件购买指南,综合了社区反馈,对比了 Mac Studio、NVIDIA 和 AMD 的选项。
一位用户展示了在MacStudio M2 Ultra 64GB上运行的个人本地LLM栈,组合了SuperQwen3.6-35b-mlx-4bit、Ernie Image Turbo及多款辅助模型,用于编程与聊天。
彭博社报道,新款 Mac Studio 机型最早要到 2026 年 10 月才会上市,这引发了人们对 Apple 硬件何时能够运行 DeepSeek v4 等模型的疑问。