在 Anubis OSS 的 UI 中新增了直接下载模型的功能——如果有人愿意帮忙测试,那就太好了
摘要
Anubis OSS 是一款用于本地 LLM 基准测试的 Apple Silicon Mac 应用,现在支持通过 UI 中的“浏览模型”按钮直接从 ollama.com 库下载模型。开发者正在寻找测试人员,以确认安装和功能正常运行。
我开发并维护 Anubis OSS,这是一款用于本地 LLM 基准测试的 Apple Silicon Mac 应用。主要基于 Ollama 构建(如果你有的话,也支持 LM Studio、MLX 和 Apple Intelligence)。刚刚发布了一个 Homebrew Cask tap,希望在宣布稳定之前确保它运行顺畅。如果你有一台 Mac 并且有一分钟时间,以下任一方式都可以安装已签名和公证的 v3.6 版本:
Homebrew(新):`brew install --cask uncsoft/anubis/anubis-oss`
直接下载:Releases 页面。下载 `Anubis-OSS-3.6.zip`,解压,拖到 `/Applications`。
我希望收到以下反馈:
* 安装时没有 Gatekeeper 问题?
* 首次启动时是否自动检测正在运行的 Ollama?
* **新的“浏览模型”工具栏按钮是否真的能调出 ollama.com 库?(你应该能够在不离开应用的情况下,直接从仪表盘拉取任何模型)**
* “在我的 M-whatever 上能跑” 也很有价值。如果有任何问题,请说明芯片类型 + 具体步骤。
仓库:https://github.com/uncSoft/anubis-oss
免费,GPL-3.0,无遥测,无需账户。
排行榜:https://devpadapp.com/leaderboard.html
我与 LLM 开发者合作,使他们能够评估和调整模型的性能,[数据集是开源的](https://devpadapp.com/explorer.html),目前已有超过 400 次运行提交。另外,我还在开发一个[分析](https://uncsoft.github.io/anubis-oss/analysis.html)网站。
相似文章
Ollama Model Tester (GitHub Repo)
一个轻量级、无依赖的Python CLI工具,用于对本地Ollama模型运行相同提示,并将每次响应保存到磁盘,便于轻松对比模型。
ModelHub
ModelHub 是一款在 Mac 菜单栏上运行本地大语言模型的应用。
jundot/omlx
oMLX 是一个用于在 Apple Silicon Mac 上进行优化 LLM 推理的新开源工具,具备持续批处理和分层 KV 缓存功能,并通过菜单栏应用进行管理。
@jundotkim: oMLX 0.5.2 已发布。(很抱歉沉默了这么久!)https://github.com/jundot/omlx/releases… oMLX 是最方便的...
oMLX 0.5.2 版本新增了实时菜单栏活动、重新组织的模型菜单、Bonsai 低位内核,以及通过自定义 Metal 内核和原生推测解码实现的性能提升,使其成为在 Mac 上运行 MLX 模型的最快方式。
@cevenif: 用苹果电脑跑本地大模型的朋友,有个工具值得盯上——Rapid-MLX。它在 M 系列芯片上的推理速度比 Ollama 快 2 到 4 倍,因为它是直接基于苹果的 MLX 框架开发的,对芯片架构的压榨更彻底。 几个关键点: KV 缓存裁剪加…
Rapid-MLX 是一个针对苹果 M 系列芯片优化的本地大模型推理工具,基于 MLX 框架开发,推理速度比 Ollama 快 2 到 4 倍,支持多种模型、工具调用及 OpenAI API 兼容接口。