在 Anubis OSS 的 UI 中新增了直接下载模型的功能——如果有人愿意帮忙测试,那就太好了
摘要
Anubis OSS 是一款用于本地 LLM 基准测试的 Apple Silicon Mac 应用,现在支持通过 UI 中的“浏览模型”按钮直接从 ollama.com 库下载模型。开发者正在寻找测试人员,以确认安装和功能正常运行。
我开发并维护 Anubis OSS,这是一款用于本地 LLM 基准测试的 Apple Silicon Mac 应用。主要基于 Ollama 构建(如果你有的话,也支持 LM Studio、MLX 和 Apple Intelligence)。刚刚发布了一个 Homebrew Cask tap,希望在宣布稳定之前确保它运行顺畅。如果你有一台 Mac 并且有一分钟时间,以下任一方式都可以安装已签名和公证的 v3.6 版本:
Homebrew(新):`brew install --cask uncsoft/anubis/anubis-oss`
直接下载:Releases 页面。下载 `Anubis-OSS-3.6.zip`,解压,拖到 `/Applications`。
我希望收到以下反馈:
* 安装时没有 Gatekeeper 问题?
* 首次启动时是否自动检测正在运行的 Ollama?
* **新的“浏览模型”工具栏按钮是否真的能调出 ollama.com 库?(你应该能够在不离开应用的情况下,直接从仪表盘拉取任何模型)**
* “在我的 M-whatever 上能跑” 也很有价值。如果有任何问题,请说明芯片类型 + 具体步骤。
仓库:https://github.com/uncSoft/anubis-oss
免费,GPL-3.0,无遥测,无需账户。
排行榜:https://devpadapp.com/leaderboard.html
我与 LLM 开发者合作,使他们能够评估和调整模型的性能,[数据集是开源的](https://devpadapp.com/explorer.html),目前已有超过 400 次运行提交。另外,我还在开发一个[分析](https://uncsoft.github.io/anubis-oss/analysis.html)网站。
相似文章
Ollama Model Tester (GitHub Repo)
一个轻量级、无依赖的Python CLI工具,用于对本地Ollama模型运行相同提示,并将每次响应保存到磁盘,便于轻松对比模型。
ModelHub
ModelHub 是一款在 Mac 菜单栏上运行本地大语言模型的应用。
jundot/omlx
oMLX 是一个用于在 Apple Silicon Mac 上进行优化 LLM 推理的新开源工具,具备持续批处理和分层 KV 缓存功能,并通过菜单栏应用进行管理。
@jundotkim:我刚发布了 oMLX v0.4.0,这是首个搭载全新原生 Swift macOS 应用的正式版本。
oMLX v0.4.0 搭载了原生 Swift macOS 应用,具备重新设计的引导流程、设置界面、Hugging Face 缓存发现功能,以及改进的模型管理,用于在 Mac 上运行本地 AI。
Osaurus 为您的 Mac 带来本地与云端 AI 模型
Osaurus 是一款面向 Mac 的开源 LLM 服务器,让用户无缝切换本地与云端 AI 模型,同时将文件和工具保留在自有硬件上,并通过虚拟沙盒解决安全顾虑。