@Prince_Canuma：我的 MLX 与研究家用计算平台：• M3 Ultra — 512GB（由社区与 @wai_protocol 赞助）• RTX PRO 6000 — 96GB…
摘要
一位研究人员分享了用于 MLX 和 AI 研究的家用计算配置，包含配备 512GB 的 M3 Ultra、配备 96GB 的 RTX PRO 6000，以及用于模型移植与压力测试的配备 96GB 的 M3 Max。
相似文章
2台配备 512GB 内存的 M3 Ultra Mac Studio
硬件投入约 2.5 万美元。告诉我你们希望我在这两台设备上部署什么模型，我会协助测试。目前我已通过 Exo 后端跑通了 DeepSeek v3.2 Q8 版本；当前每台设备均在运行 GLM 5.1 Q4（正在排查为何 Exo 无法加载 Q8 版本）。静候社区完成 Kimi 2.6 针对 MLX/mmap 的优化适配。
@ashxhart: 一直在给我的 M3 Ultra Studio 精心调校，并摆弄 MLX。下午开始时速度为 42 tok/s。现在：73 tok/s，而且…
一位作者改进了 M3 Ultra Studio 上的 MLX 性能，使 4 位量化的 Qwen3.8-Flash-Next 模型达到 73 tok/s，其智能评分与 GPT-5.6 Sol 相当，凸显了本地 AI 日益增长的潜力。
@volatilemarkts：同一台 Mac，同一模型，同样内容。上周我在 512 GB M3 Ultra 上用 MLX 跑 GLM-5.3-Flash：27 tok/s，首 token 耗时 0.46 秒……
TensorFold 0.6.2 是一款 Apache 2.0 开源 LLM 推理引擎，声称在 Apple Silicon 上的 token 吞吐量超过 MLX 的两倍（M3 Ultra 上为 61 vs 27 tok/s），采用多 token 预测的投机解码技术，支持并发并行请求以及兼容 OpenAI 的 API。
4台 6000 Pro，供公司使用
一位用户分享了如何使用完全本地部署的 AI 技术栈为 40 名员工（其中 10 名开发者）提供服务：该技术栈由一台配备 4 张 RTX 6000 Blackwell MaxQ GPU（384GB 显存）的 4U 服务器驱动，通过 vLLM 运行 DeepSeek V4 Flash，通过 llama.cpp 运行 Qwen 3.8 27B 和 K2-Horizon 7B，并结合 n8n 自动化、OpenWebUI、Whisper/Vexa AI 的 Teams 会议转录功能，以及用于营销的 ComfyUI。
我刚刚从MacBook M5 pro 48 GB换到了RTX3090
一位软件开发者分享了从MacBook换到RTX3090 Linux设置来运行AI模型的经历，使用Qwen 3.8 27B实现了显著更高的推理速度，并可能取代他的Claude订阅。