标签
一个针对 llama.cpp 的拉取请求在 mtmd(多模态)模块中添加了对 Nemotron 3.5 Transcribe 的支持,扩展了该库的音频转录能力。
一个针对 llama.cpp 的 Pull Request 添加了对 Clover GPU/加速器后端的支持,扩展了该库在 LLM 推理方面的硬件兼容性。
llama.cpp 合入 PR #30928,新增 FlintForCausalLM 模型架构支持,由 alexey-rsi 提交。
ggerganov 在 llama.cpp 仓库提交了 PR #30459,为 common 新增 --spec-draft-n-ubatch 选项,用于调整推测解码的草稿微批次大小。
一个针对 llama.cpp 的拉取请求新增了对 MiniCPM-V 4.7 多模态视觉语言模型的推理支持,扩展了这一 C/C++ 大语言模型推理框架所支持的模型范围。
vLLM 已合并对 `/v1/systemone` 的支持,这是其开源 LLM 推理与服务库的最新功能更新。
该拉取请求为 llama.cpp 新增了 K2 Horizon dense 模型与 MoVA 架构的支持,扩展了这一流行 C/C++ 推理框架的本地大模型推理覆盖范围。
llama.cpp 的 PR #26610 由 am17an 提交,为 RPC 后端新增 `-sm tensor`(tensor split)选项,使张量可在多设备 RPC 服务器间分配。
CodeCrab 是一款基于 Tauri 的本地优先桌面应用,利用本地 CLI 在数秒内完成 Pull Request 审查,代码完全在本机处理,100% 客户端,不会离开用户机器。
一位用户分享了其在 Open WebUI 中使用 OpenSERP 实现免费、简单的网页搜索提取的方案,并提交了两个 PR:一个让 OpenSERP 兼容 OWUI 的提取器,另一个在 Open WebUI 中添加 OpenSERP 搜索提供方。
针对 ggml-org/llama.cpp 的一项 Pull Request 为 GLM-5.3-Flash(GLM5-Next)模型添加了推理支持,进一步扩展了该库对智谱 AI GLM 系列模型的覆盖范围。
此 PR 在 Vulkan 后端中融合了 qwen4exp 模型的操作链,以优化 llama.cpp 的推理性能。
DeepSeek-V4.1-Flash AI模型被用于NVIDIA DGX Spark单元上,以自动执行内核工作、读取项目文档并开启pull request,展示了软件开发中的真实AI自动化。
一个拉取请求为 llama.cpp 推理工具添加了对 NVIDIA Nemotron-3-Puzzle-75B-A9B 模型的支持。
本文报道了 llama.cpp 中针对 Qwen Flash Next 模型的最近错误修复和更新,建议用户频繁更新其构建版本。
DFlash2 的支持已通过拉取请求 #27342 合并到 llama.cpp 中,为 LLM 推理工具添加了局部卷积和候选选择器功能。
Devin,一款AI工具,现在通过生成测试计划、执行用户流程并提供带注释的录像,为应用测试提供视频收据,以直观验证工作。
介绍 Tastelint,一个在每个拉取请求上运行的 AI 代理,旨在提供设计反馈,弥合产品设计与代码开发之间的自动化差距。
一个用于自适应 MTP 的拉取请求 (PR#27210) 已提交到 llama.cpp,该实现是用于LLM推理的C/C++代码,设置简单且性能高效。
一个通过云端代理创建拉取请求来自动化处理应用内反馈的npm包。