标签
此拉取请求为 llama.cpp(一个流行的开源 LLM 推理引擎)添加了 CUDA 上的快速 Walsh-Hadamard 变换实现。该优化提升了在 NVIDIA GPU 上某些计算操作的性能。
一个针对 llama.cpp 的拉取请求修复了使用 OpenCode 或 Pi 时出现的持续 prompt processing 问题。
此拉取请求通过避免在多令牌预测的提示解码过程中不必要地复制 logits,优化了 llama.cpp,从而提升推理性能。
拉取请求为 llama.cpp 添加多令牌预测(MTP)支持,启用推测解码以加速推理。
一个基于LangChain构建的AI代理持续监控自己的代码库,标记缺失的监测器,并自动创建PR修复发现的漏洞,如Ramp公司的Alex Shevchenko所述。