llama-cpp-alternative

标签

Cards List
#llama-cpp-alternative

Qwen3.8 Flash Next ISTA-DASLab GGUF 在'Strata'引擎上实现50t/s文本生成和1500t/s提示处理,配备12GB显存和64GB内存的笔记本电脑

Reddit r/LocalLLaMA ↗ · 2026-09-30

本文重点介绍了Strata推理引擎,它在配备12GB显存和64GB内存的笔记本电脑上运行Qwen3.8模型时,性能显著超越llama.cpp,文本生成速度最高可达50 tokens/秒,提示处理速度可达1500 tokens/秒。

0 人收藏 0 人点赞
#llama-cpp-alternative

构建一个媲美 Llama.cpp 的 Rust 推理引擎

Hacker News Top ↗ · 2026-08-05 缓存

Ferrox 是一个纯 Rust 推理引擎,可加载 GGUF 模型,并在 CPU、Metal 或 CUDA 上运行本地 LLM,提供 CLI 和兼容 OpenAI 的服务器。它的目标是在不使用任何绑定、从零编写的情况下,达到与 llama.cpp 相当的性能。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈