MAX models 现在可以在 Apple silicon GPU 上运行
摘要
MAX models 已更新，可在 Apple silicon GPU 上运行，从而在 Mac 上实现更快的推理。
<p><a href="https://lobste.rs/s/4srepl/max_models_can_now_run_on_apple_silicon">评论</a></p>
相似文章
苹果发布全新 Apple Silicon 端侧推理引擎
苹果在 WWDC 上发布了 CoreAI，这是一款适用于 Apple Silicon 的全新端侧推理引擎，将取代 CoreML，并通过优化推理支持多达 200 亿参数的更大模型，重点面向手机和平板设备。
@akshay_pachaar: 苹果终于做到了。其新框架 Core AI 完全在 Apple 芯片上运行模型，因此推理发生在用户设备上…
苹果发布了 Core AI，这是一个新框架，可在 Apple 硅设备（iPhone、iPad、Mac、Vision Pro）上完全运行 AI 模型，无需服务器调用。它包含一个内存安全的 Swift API、用于 PyTorch 的模型导出配方、一个优化器和调试工具，支持 Qwen、Mistral 和 SAM3 等模型。
@neural_avb：我正在将SAM模型及其工具套件移植到Apple silicon上。已经在mlx上看到1.25倍推理速度提升……
将SAM 2.1模型移植到Apple silicon上（使用MLX），在小模型上实现了1.25倍推理速度提升，计划推出量化版。
@PyTorch：ExecuTorch 现有一个 MLX 委托，可在 Apple Silicon GPU 上运行 PyTorch 模型。它支持大语言模型、语音转文字、以及……
ExecuTorch 现有一个 MLX 委托，可在 Apple Silicon Mac 上为 PyTorch 模型提供 GPU 加速推理，支持大语言模型、语音转文字以及通过 TorchAO 进行量化的 MoE 模型。
@HuggingModels：Gemma 4 来了，它针对 Apple Silicon 进行了优化。这款 4 位量化模型在您的 Mac 上运行快速，而不仅仅是在…
Gemma 4 是一款针对 Apple Silicon 优化的 4 位量化模型，能够在 Mac 设备上实现快速本地推理，减少对云计算的依赖。