@mudler_it: LocalAI ( @LocalAI_API ) 4.2.0 已发布,简要数据和事实:- +392 次提交(我们合并了这些提交)- +11 个后端:v…
摘要
LocalAI 4.2.0 发布,包含超过 392 次提交,11 个新后端(包括语音和面部识别),增强了对 sglang 和 VLLM 的支持,并有来自 16 多位新开发者的贡献。
LocalAI ( @LocalAI_API ) 4.2.0 已发布,以下是几个简要数据和事实:
- 超过 392 次提交(我们合并了这些提交)
- 新增 11 个后端:语音和面部识别、来自我的 vibevoice.cpp、来自 @jichiep 的 LocalQVE,以及来自 @sgl_project、@__tinygrad__、@no_stp_on_snek 的 Turboquant、ik_llama.cpp,还有来自 @el_PA_B 的 sam.cpp
- 大量新的质量改进,增强了对 sglang 和 VLLM 的支持,并加强了分布式模式的稳定性
- 超过 16 位新贡献者!感谢社区的支持!LocalAI 的核心目标是提供灵活性,让您能够运行社区中最新的模型和技术,而 @antirez 支持的 ds4 也在路上了!今年是本地 AI 之年!
相似文章
@DJLougen:这是一个巨大的承诺,一如既往地感谢@huggingface及其团队对本地机会的承诺
GLM-5.2现在可在接下来的6小时内通过Hugging Face Inference Providers免费使用,支持开源AI。
@ggerganov:llama.cpp 现在有了官方网站:https://llama.app 我们的目标是让本地 AI 人人可用,并改善…
llama.cpp,广受欢迎的本地 AI 推理工具,现在有了官方网站(llama.app),提供跨平台安装程序和更好的用户体验,让本地 AI 更易于使用。
@RedHat_AI: Michael Goin (@mgoin_) 详解 @vllm_project v0.20.0。752 次提交。320 位贡献者。123 位新贡献者。DeepSeek V4, TurboQ…
Michael Goin 回顾了 vLLM v0.20.0 的发布,重点介绍了 752 次代码提交以及新功能,包括对 DeepSeek V4 的支持、TurboQuant 技术以及 PyTorch 2.11 的集成。
@vllm_project: vLLM v0.21.0 发布!367 次提交,来自 202 位贡献者(其中 49 位新贡献者)。亮点:KV 卸载 + HMA、带思考预算的推测解码(适用于推理模型)……
vLLM v0.21.0 已发布,新增 KV 卸载 + HMA、面向推理模型的带思考预算的推测解码、适用于 DSR1/Kimi K2.5 的 Blackwell 上的 TOKENSPEED_MLA、Mooncake 分布式 KV、DeepSeek V4 流水线并行,以及 C++20 + Transformers v5 基线。
GLM-5.2 是本地人工智能的一次胜利
GLM-5.2 是一款拥有 753B 参数、采用 MIT 许可证的开源模型,具备前沿级别的编码能力和超大的上下文窗口。其蒸馏潜力有望为本地 AI 设置带来显著改进。