PSA：llama.cpp 推出的 llama.app、Mac 应用和 llama serve

Reddit r/LocalLLaMA 工具
llama.cpp mac-app local-ai llm open-source developer-tools

摘要

llama.cpp 现在提供一款官方 Mac 应用（llama.app），带有菜单栏界面，以及一个简化的 'llama serve' 命令，可自动选择模型，让本地 LLM 推理对新用户更加友好易用。

https://llama.app/ 我已经使用 llama.cpp 很多年了，而且我经常在这里（我是版主..），但不知怎么的我完全没注意到 llama.app 的存在，而且它还是 HF/llama.cpp 团队的官方应用。所以发这个帖子，因为我相当确定我不是唯一一个不知道的人。llama.cpp 团队一直在让它变得更加易用，并且基本上把 ollama 所做的功能都内置进来了（遗憾的是它似乎正在借鉴 ollama 的设计——我认为可以有更好的用户体验，但让 llama.cpp 更容易上手绝对是方向正确的举措）：基于 DMG 的 Mac 安装方式。它会提供图中所示的菜单栏工具，显示 API URL、已安装的模型和模型推荐。如果你更喜欢命令行，还有一个一行命令的安装方式（无需 homebrew/winget）。llama serve 现已可用（取代 llama-server），无需传递参数即可调用，llama.cpp 会根据传入的请求自动加载合适的模型。对于很多已经使用 llama.cpp 一段时间的人来说（或者使用 llama-swap 的人），这可能不新鲜也没什么用，但如果你在配置新机器、向朋友和家人介绍本地 AI 等场景下，这就很棒了。
查看原文

相似文章

llama.cpp

Hacker News Top

本文介绍了 llama.cpp 的官方主页，这是一个开源的本地 LLM 推理引擎，重点介绍了通过 pi-llama 插件与 Pi 编码代理的集成以及广泛的硬件优化。