ExLlamaV3 v1.0.0 - 重大性能升级

Reddit r/LocalLLaMA 工具
exllama performance inference llm open-source gpu-optimization

摘要

ExLlamaV3 v1.0.0 为本地运行大型语言模型带来了重大性能升级。

暂无内容
查看原文

相似文章

ExLlamaV3 重大更新！

Reddit r/LocalLLaMA

ExLlamaV3 发布了一系列重大更新，包括对 Gemma 4 的支持、缓存效率的提升，以及新的 DFlash 技术，可显著提高各类模型的推理速度。

Llama.cpp 0.2.0 版本发布！

Reddit r/LocalLLaMA

Llama.cpp 是一个流行的开源工具，用于运行 LLaMA 模型，现已发布 0.2.0 版本，包含更新日志和预构建二进制文件，可在 GitHub 上获取。