@mudler_it: LocalAI ( @LocalAI_API ) 4.2.0 已发布,简要数据和事实:- +392 次提交(我们合并了这些提交)- +11 个后端:v…
摘要
LocalAI 4.2.0 发布,包含超过 392 次提交,11 个新后端(包括语音和面部识别),增强了对 sglang 和 VLLM 的支持,并有来自 16 多位新开发者的贡献。
LocalAI ( @LocalAI_API ) 4.2.0 已发布,以下是几个简要数据和事实:
- 超过 392 次提交(我们合并了这些提交)
- 新增 11 个后端:语音和面部识别、来自我的 vibevoice.cpp、来自 @jichiep 的 LocalQVE,以及来自 @sgl_project、@__tinygrad__、@no_stp_on_snek 的 Turboquant、ik_llama.cpp,还有来自 @el_PA_B 的 sam.cpp
- 大量新的质量改进,增强了对 sglang 和 VLLM 的支持,并加强了分布式模式的稳定性
- 超过 16 位新贡献者!感谢社区的支持!LocalAI 的核心目标是提供灵活性,让您能够运行社区中最新的模型和技术,而 @antirez 支持的 ds4 也在路上了!今年是本地 AI 之年!
相似文章
@RedHat_AI: Michael Goin (@mgoin_) 详解 @vllm_project v0.20.0。752 次提交。320 位贡献者。123 位新贡献者。DeepSeek V4, TurboQ…
Michael Goin 回顾了 vLLM v0.20.0 的发布,重点介绍了 752 次代码提交以及新功能,包括对 DeepSeek V4 的支持、TurboQuant 技术以及 PyTorch 2.11 的集成。
GGML 和 llama.cpp 加入 Hugging Face,保障本地 AI 长期发展
GGML 和 llama.cpp 已加入 Hugging Face,以确保本地 AI 开发的长期可持续性。Georgi Gerganov 的团队将保持对项目的完全自主权,同时获得资源来扩大社区支持并改进 llama.cpp 推理与 transformers 模型定义之间的集成。
@dbreunig:大版本发布:RLM 优化、优化链串联、LiteLLM 解耦启动,并有 24 位首次贡献者…
重磅开源版本:RLM 优化、优化链串联、LiteLLM 解耦启动,迎来 24 位新贡献者。
@ClementDelangue: 本地 AI 正在迎来它的时刻!以下是过去 8 个月每月新增的 GGUF 模型数量及相关见解……
本文强调了 Hugging Face 上本地 AI GGUF 模型创建量的显著激增,近几个月的每月新增量几乎翻倍,超过 9,000 个,这得益于工具的改进以及新的开源权重模型的发布。
@ClementDelangue:笔记本上本地开放权重 AI 的进步速度已超过摩尔定律的两倍!从 2024 年 5 月到 202…
Hugging Face CEO Clement Delangue 表示,在硬件配置不变的情况下,笔记本端本地开放权重 AI 的性能提升速度已达摩尔定律的 4.7 倍,并以模型从 Llama 3 70B 演进至 DeepSeek V4 Flash 的进展作为佐证。