标签
NVIDIA BioNeMo 推理运行时通过优化内核、CUDA Graphs 和 Ray 加速生物分子结构预测模型，实现高吞吐量，同时保持与 PyTorch 工作流程的集成。
mere.run 是一个面向Apple Silicon和无头Linux的本地优先推理运行时，提供单一CLI用于文本、图像、视频、音乐、3D等，无需Python。
Embodied.cpp 是一个可移植的C++推理运行时，通过模块化执行层和优化推理，能够在异构边缘设备和机器人上高效部署视觉-语言-动作模型与世界-动作模型。
Conifer作为一款开源本地AI运行时和IDE发布，提供在Mac、Linux和Windows上的原生推理，自带Metal引擎和一个名为Typhoon的沙盒本地代理。