我为Laya添加了OpenVINO支持:CPU上每个问题40毫秒,比PyTorch快3.4倍
摘要
为Laya添加了OpenVINO支持,实现了CPU上每个问题40毫秒,比PyTorch快3.4倍。
GitHub仓库:https://github.com/rupeshs/laya-openvino Flappy bird演示:https://github.com/rupeshs/flappy-laya-openvino-cpu
相似文章
Laya (OS Jev) 在 Mac M4 CoreML 离线运行(每秒45次决策)
Laya 模型使用 CoreML 在苹果的 M4 芯片上离线运行,推理速度达到每秒45次决策。
Laya模型在CPU上使用OpenVINO INT8推理运行Flappy Bird
一个4.21亿参数的Laya模型被演示在台式机CPU上使用OpenVINO INT8量化运行Flappy Bird,展示了在消费级硬件上的高效AI推理。
convaiinnovations/laya
Laya 是一款开源的非自回归决策模型,提供带有校准概率的类型化回答,旨在用于电子邮件分类和对话AI等任务,相比现有模型显示出显著的性能提升。
laya.cpp: 优化的Laya近即时决策
laya.cpp 是一个优化的 C++ 实现,用于近即时决策,基于 ggml 构建并带有自定义 CUDA 内核,展示了在 Laya 模型上相比 Python 的显著速度提升。
@LinQ444: jev 与 laya 的对比 https://github.com/mizorewww/laya-mlx…
Laya-MLX是一个开源工具,用于在Apple Silicon上本地运行类型化决策AI模型,具有低延迟,提供无需云API的原生推理。它包括基准测试,显示在M3 Max等设备上的快速性能。