c-cpp

标签

Cards List
#c-cpp

DFlash 支持已合并到 llama.cpp

Reddit r/LocalLLaMA · 2026-06-28 缓存

DFlash 支持已合并到 llama.cpp,提升了兼容模型的推理性能。

0 人收藏 0 人点赞
#c-cpp

kv-cache : 避免kv cells复制 by ggerganov · Pull Request #24277 · ggml-org/llama.cpp

Reddit r/LocalLLaMA · 2026-06-08 缓存

ggerganov的此pull request优化了llama.cpp中的kv-cache,以避免不必要的kv cells复制,从而提升推理性能。这是对开源LLM推理库llama.cpp的一个贡献。

0 人收藏 0 人点赞
#c-cpp

llama : 网站 + 统一的 `llama` 二进制文件 · ggml-org/llama.cpp · 讨论 #23875

Reddit r/LocalLLaMA · 2026-05-29 缓存

Llama.cpp 宣布推出新网站和统一的 'llama' 二进制文件,以简化 LLM 推理,同时还包括 Hugging Face 缓存迁移和多模态支持等更新。

0 人收藏 0 人点赞
#c-cpp

server, webui: 支持在推理模型上继续生成,由 ServeurpersoCom · 拉取请求 #22727 · ggml-org/llama.cpp

Reddit r/LocalLLaMA · 2026-05-13 缓存

此拉取请求在 llama.cpp 服务器和 WebUI 中添加了对推理模型继续生成的支持。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈