我受够了 Apple 官方配置器，于是自己为本地 AI 做了一个

Reddit r/LocalLLaMA 工具
local-llm mac-hardware configurator llama-bench inference-benchmark open-project

摘要

作者因不满 Apple 官方配置器，开发了 modelfit.io——一个专为购买 Mac 运行本地 LLM 的用户设计的配置工具，可实时显示所选 Mac 配置能运行哪些模型及预计推理速度。

我正在买一台 Mac mini，反复在各种配置之间纠结，试图猜出到底哪一款能真正跑起我想要的模型。于是我为那些买 Mac 来运行本地 LLM 的人做了一个配置器：https://modelfit.io/ 你可以清楚地看到它能读取哪些最佳 LLM，以及各自的效率，并根据你选择的配置实时更新。你选择一款 Mac 和一种配置，它就会显示哪些模型能放进内存，以及每个模型的预计速度。速度估算是基于真实 llama-bench 运行数据拟合的模型得出的，每个数字都会标注其典型误差，让你知道该有多信任它。Apple 的官方定价每日更新。所以我做了自己的配置器，专门为像我这样为了做本地 AI 而购买 Mac 的人服务。这是我自己的项目。非常希望收到反馈，尤其是那些能将自己的实际数据与这些估算进行对比的人。另外，我一直在 m6 32GB 和 m5pro 48GB 之间犹豫，我打算选 m5pro，你们觉得这个选择怎么样？
查看原文

相似文章

@cevenif: 用苹果电脑跑本地大模型的朋友，有个工具值得盯上——Rapid-MLX。它在 M 系列芯片上的推理速度比 Ollama 快 2 到 4 倍，因为它是直接基于苹果的 MLX 框架开发的，对芯片架构的压榨更彻底。 几个关键点： KV 缓存裁剪加…

X AI KOLs Timeline

Rapid-MLX 是一个针对苹果 M 系列芯片优化的本地大模型推理工具，基于 MLX 框架开发，推理速度比 Ollama 快 2 到 4 倍，支持多种模型、工具调用及 OpenAI API 兼容接口。

我在M4 Pro Mac Mini上的本地模型设置

Hacker News Top

作者描述了他们在M4 Pro Mac mini上的本地AI模型设置，使用诸如Qwen和Gemma的模型，配合oMLX和Tailscale等工具，以实现数据隐私、成本可预测性和离线能力。