标签
vLLM正在引入硬件无关层，以在尖端硬件上的高性能与跨不同加速器的可移植性之间取得平衡，解决与torch.compile的兼容性问题。
介绍了 vLLM 中的硬件无关层，以在确保跨多样化硬件可移植性的同时保持高性能，正如 PyTorch Foundation 博客文章中所宣布的。
本文提出了两种硬件无关的动态调度策略（一种无模型强化学习代理和一种即时近似预测方法），用于管理具有未知工作负载的无电池物联网设备中的任务执行，并使用真实太阳能数据的模拟框架对它们与现有方法进行了评估。
这篇评论文章认为，由于根本性的硬件差异，AI内核在不同硬件（TPU、GPU等）上的可移植性在结构上是不可能的，并且尽管业界渴望可移植性，但最好的AI堆栈始终需要特定于硬件的DSL才能获得最佳性能。