我为Laya添加了OpenVINO支持:CPU上每个问题40毫秒,比PyTorch快3.4倍

Reddit r/LocalLLaMA 工具

摘要

为Laya添加了OpenVINO支持,实现了CPU上每个问题40毫秒,比PyTorch快3.4倍。

GitHub仓库:https://github.com/rupeshs/laya-openvino Flappy bird演示:https://github.com/rupeshs/flappy-laya-openvino-cpu
查看原文

相似文章

convaiinnovations/laya

Hugging Face Models Trending

Laya 是一款开源的非自回归决策模型,提供带有校准概率的类型化回答,旨在用于电子邮件分类和对话AI等任务,相比现有模型显示出显著的性能提升。

laya.cpp: 优化的Laya近即时决策

Reddit r/LocalLLaMA

laya.cpp 是一个优化的 C++ 实现,用于近即时决策,基于 ggml 构建并带有自定义 CUDA 内核,展示了在 Laya 模型上相比 Python 的显著速度提升。