inference-framework

Google Cloud 和 RadixArk 合作，将开源推理框架 SGLang 引入 Google Cloud TPU，初期通过 SGL-JAX，后续推出 SGL-torchtpu 提供原生 PyTorch 支持，让开发者能够无缝在 GPU 和 TPU 上运行生产工作负载。

ncnn 是一个轻量级的开源神经网络推理框架，用于将 PyTorch 和 ONNX 模型部署到移动端、嵌入式设备和桌面端，无需繁重的依赖，支持 CPU 和 Vulkan GPU 后端。

Scylla's Band 是一款新的 TTS 模型和推理框架，包含用于部署的 Android 示例。

VLA-Corrector 提出了一种轻量级的检测与纠正推理框架，可在无需重新训练的情况下自适应调整视觉-语言-动作策略中的动作视野，提升机器人操控任务的鲁棒性和效率。

本文解释了vLLM用于强化学习的权重同步API，涵盖了它如何促进RL训练中的权重更新和KV缓存重计算，重点关注降低训练框架的复杂性。