定制引擎的时代？

Reddit r/LocalLLaMA 新闻
llm-inference open-source llama.cpp tool-fragmentation gpu-benchmarking performance

摘要

作者讨论了LLM推理引擎生态日益碎片化的现象，从早期依赖llama.cpp转向各种分支项目（如Niffler、Strata、Avalon、Basalt等），并质疑llama.cpp为何在性能上落后于许多独立开发者的作品。

刚开始时，有那么一段时间，llama.cpp 就是最佳选择。现在，感觉 llama.cpp 成了新的 ollama。速度慢、过时，而且处处落后。之前，适用的人还可以用 Ninfee。后来 strata 出来了……那简直是难以想象的升级。llama 怎么会落后这么多？现在每天都有人拿出自己 fork 的推理引擎，声称性能数据还要更好。我这周 Claude 的 token 额度已经用光了，所有 GPU 也都在跑基准测试，所以得等几天，但我会试试 Avalon，看看它在我的机器上能不能达到宣传的效果。然后还有 basalt。还有个 beatleguese？有点乱。创新当然好，但大家朝同一个方向使劲，总比精力分散到上千个各自为战的零散项目里更好。没错，我对 llama.cpp 的批评有点夸大了。我现在还是会用它，比如跑 27b。但……我已经验证过，flash next 的效果比 27b 更好，速度也更快，所以实在找不到什么理由继续用它了。:/ 为什么这些独立开发者几周就能搞定的东西，llama 却一直搞不明白？
查看原文

相似文章

Qwen3.8FN vLLM vs. llama.cpp vs Ninfer6000

Reddit r/LocalLLaMA

一位社区成员对 Ninfer6000（针对 RTX Pro 6000 Blackwell 和 Qwen3.8-Flash-Next 调优的 Ninfer 分支）与 vLLM 和 llama.cpp 进行了基准测试，发现其解码速度约为 vLLM 的 1.6 倍、llama.cpp 的 2.2 倍，准确率几乎相同；但他表示，在实际使用中，工具调用存在严重的格式错误，导致其无法正常使用，因此仍继续使用 vLLM。

大语言模型与本地AI硬件的推理引擎（2026版）

X AI KOLs

本文提供了一份全面的指南，针对2026年本地AI硬件上的大语言模型推理引擎，解释了如何根据硬件策略、工作负载和服务模型进行选择，并涵盖了诸如llama.cpp、MLX、ExLlamaV2/3、vLLM、SGLang、TensorRT-LLM和NVIDIA Dynamo等引擎。

@NFTCPS: 本地跑大模型的注意了！ 有人把llama.cpp改造成了性能怪兽——BeeLlama.cpp，同样的显存，推理速度直接干到3倍，上下文容量扩展7.5倍，这不是PPT，是实测数据。 它把三个顶级优化方案塞进一个代码库： DFlash推测解码…

X AI KOLs Timeline

BeeLlama.cpp is a fork of llama.cpp that integrates DFlash speculative decoding, TurboQuant/TCQ KV-cache compression, and adaptive draft control, achieving up to 3x faster inference and 7.5x context expansion on the same hardware.

为什么 AnythingLLM 正从 Ollama 转向 Lemonade 和 llama.cpp

Reddit r/LocalLLaMA

AnythingLLM Desktop 正在用 AMD 的开源 Lemonade 服务器（运行 llama.cpp）替换其内置的 Ollama 引擎，旨在实现更快的更新、直接从 Hugging Face 下载 GGUF 文件，以及更广泛的硬件支持，包括 Vulkan、CUDA、Metal 和 NPU 加速。

llama.cpp

Hacker News Top

本文介绍了 llama.cpp 的官方主页，这是一个开源的本地 LLM 推理引擎，重点介绍了通过 pi-llama 插件与 Pi 编码代理的集成以及广泛的硬件优化。