标签
DFlash 支持已合并到 llama.cpp,提升了兼容模型的推理性能。
ggerganov的此pull request优化了llama.cpp中的kv-cache,以避免不必要的kv cells复制,从而提升推理性能。这是对开源LLM推理库llama.cpp的一个贡献。
Llama.cpp 宣布推出新网站和统一的 'llama' 二进制文件,以简化 LLM 推理,同时还包括 Hugging Face 缓存迁移和多模态支持等更新。
此拉取请求在 llama.cpp 服务器和 WebUI 中添加了对推理模型继续生成的支持。