Laya模型在CPU上使用OpenVINO INT8推理运行Flappy Bird
摘要
一个4.21亿参数的Laya模型被演示在台式机CPU上使用OpenVINO INT8量化运行Flappy Bird，展示了在消费级硬件上的高效AI推理。
一个4.21亿参数的模型刚刚在我的台式机CPU（OpenVINO int8）上运行了Flappy Bird，运行在我的Intel Core i7第12代CPU上。将Laya系统的一个模型转换为OpenVINO并量化为int8。
相似文章
Laya (OS Jev) 在 Mac M4 CoreML 离线运行（每秒45次决策）
Laya 模型使用 CoreML 在苹果的 M4 芯片上离线运行，推理速度达到每秒45次决策。
@liquidai：推出LFM2.5-230M：这是我们最小的模型，专为快速运行而设计，可在任何地方（CPU、NPU和GPU）上运行，以实现代理型任务…
Liquid AI发布了LFM2.5-230M，这是一个拥有230M参数的小型模型，针对CPU、NPU和GPU上的快速推理进行了优化，适用于手机和机器人等设备上的代理型任务。
Ling-3.0-tiny 是个非常有趣的模型。它可以在 NVIDIA Orin Nano Super 8GB 上运行，支持 128K 上下文并采用 IQ4_NL 量化技术。
本文展示了在NVIDIA Orin Nano Super 8GB设备上运行Ling-3.0-tiny AI模型的实例，采用IQ4_NL量化方案，实现33 tok/s解码速度与完整128K上下文长度，体现了边缘AI的实际部署能力。
LiquidAI/LFM2.5-2.6B
Liquid AI released LFM2.5-2.6B, a 2.6B-parameter hybrid model optimized for on-device deployment with 128K context, agentic post-training, and fast inference (220 tok/s on Apple M5 Max) under 2.5GB memory.
LiquidAI/LFM2.5-230M
Liquid AI发布了LFM2.5-230M，一款紧凑的230M参数混合模型，针对设备端部署进行了优化，边缘推理速度快（在Galaxy S25 Ultra上达到213 tok/s），并通过强化学习构建，适用于智能体任务。