标签
llama.cpp 项目在 llama.app 推出了新的官方文档网站，提供使用 llama cli 和 llama server 进行本地 LLM 推理的全面指南。
本文讨论了 llama.cpp 的一个 AMD 特定分支，该分支显著提升了 AMD 用户的提示处理速度，使用 ROCm/Hip 时，在密集模型上性能最高提升 2 倍，尽管在其他指标上有些权衡。
作者在配备128GB内存的系统上实验运行DeepSeek-V4-Flash-0731的4位量化模型，通过内存锁定和提示处理策略等优化手段，达到了可接受的推理速度。
已创建一个 llama.cpp 的分支，并针对 AMD GFX906 GPU 进行了优化，提升了 Mi50、Mi60、Radeon VII 和 GCN HIP 上的性能，适用于机器学习和大语言模型应用。
一位用户fork了Ninfer推理引擎以在CMP170HX GPU上运行，使llama.cpp的Qwen3.6-35B模型性能翻倍，并分享了配置细节。
本文提供了在3060 12G显卡上运行Qwen3.8-27B-Unleashed模型的详细安装指南，涵盖版本选择、下载问题和启动配置，并总结了常见错误的解决方法。
Llama.cpp 是一个流行的开源工具，用于运行 LLaMA 模型，现已发布 0.2.0 版本，包含更新日志和预构建二进制文件，可在 GitHub 上获取。
在一个 llama.cpp 分支中实现了 DSpark PC Tree，根据基准测试结果，在 Qwen 3.0 模型上显示了推理速度最高提升29.5%的性能优势。
该基准测试对 llama.cpp 中的 DFlash2 与 MTP 技术进行了比较，结果表明 DFlash2 的令牌生成速度提高了约 20%，但可用上下文减少了 38%。
Liquid AI 发布了LFM2.5系列的DSpark草稿模型检查点，使推理速度在GPU和设备上最高提升3.2倍，质量损失极小，并在首日就支持llama.cpp和SGLang等开源工具。
本草案拉取请求引入了 AVX2 优化，旨在加速 llama.cpp 中 IQ 模型的大批量提示处理。llama.cpp 是一款用于高效 LLM 推理的开源工具。
本文介绍了Mach-1-Additive-35B AI模型的GGUF构建，该构建通过自定义llama.cpp分支针对消费级硬件优化了本地推理，并突出了强大的基准测试性能。
作者在配备RTX 4090笔记本显卡和AMD XTX 7900外置显卡的混合GPU环境中对llama.cpp运行参数进行了基准测试，实现了生成速度提升70%、预填充速度提升40%，并在多GPU配置中发现了一个与MTP相关的错误。
用户提出在 llama.cpp 中为长上下文会话实现自动缓存机制，以避免重启后的重复预填充，提升在较慢硬件上的可用性。
本文详细介绍了使用 Atomic Dynamic 方法对 Ornith 1.5 9B 和 35B-A3B AI 模型进行量化，提供了与标准量化的基准对比，并分享了 Hugging Face 集合。
本文展示了在NVIDIA Orin Nano Super 8GB设备上运行Ling-3.0-tiny AI模型的实例，采用IQ4_NL量化方案，实现33 tok/s解码速度与完整128K上下文长度，体现了边缘AI的实际部署能力。
用户在Qwen3.8 27B模型上测试了DFlash2，报告称代码生成时的推理速度有所提升，但与MTP相比内存使用量增加。
本文追踪各种低比特AI模型的更新，包括Bonsai、BitCPM等，涵盖性能改进及对llama.cpp等后端的兼容性更新。