标签
llama.cpp 新增对 Cohere 系列模型的支持,继续扩展其 C/C++ 本地 LLM 推理框架的模型兼容性。
llama.cpp 项目介绍:一个以 C/C++ 实现的轻量级 LLM/VLM 推理引擎,支持多种硬件后端,可在从服务器到树莓派等各类设备上运行,并提供命令行工具与 OpenAI 兼容的 API 服务。
build2 的 Boris Kolpackov 撰文分析 autoconf/CMake 式编译探测配置的四大问题(浪费、脆弱、缓慢、缺乏变更追踪),并提出基于期望(expectation-based configuration)的替代方案。
一个 GitHub 仓库提供了《Resident Evil 4》为 Nintendo GameCube 完全反编译至 C/C++,确保字节级一致,并包含构建工具和验证方法以重现原始二进制文件。
llama.cpp 发布版本 b11003,这是一个 C/C++ 工具,可在各种硬件上以最少的设置实现高效的大语言模型推理。
Llama.cpp v0.1.0 是用于高效 LLM 和 VLM 推理的 C/C++ 实现,支持广泛的硬件,配置简单且性能卓越。
ggerganov的此pull request优化了llama.cpp中的kv-cache,以避免不必要的kv cells复制,从而提升推理性能。这是对开源LLM推理库llama.cpp的一个贡献。
Llama.cpp 宣布推出新网站和统一的 'llama' 二进制文件,以简化 LLM 推理,同时还包括 Hugging Face 缓存迁移和多模态支持等更新。
此拉取请求在 llama.cpp 服务器和 WebUI 中添加了对推理模型继续生成的支持。
一个用于扩散模型的轻量级 C/C++ 推理引擎,支持广泛的图像和视频生成模型,并积极开发,对新发布提供日零支持。