gpu-management

Nereus 是一个成本感知运行时，它将针对大型语言模型的强化学习后训练任务调整为高效执行计划，将延迟降低27.7%，并将吞吐量提升最多7.27倍，相比现有工具。

本文对截至2026年9月的自托管推理编排器在AI模型部署方面进行对比分析，涵盖多机支持、缓存感知路由和平台兼容性等功能。

Lablup 已作为银牌会员加入 PyTorch 基金会，以推进开源人工智能。他们开发 Backend.AI，这是一款用于 AI 基础设施的软件工具，支持 GPU 编排和虚拟化。

ENOVA 是一个开源服务，简化在 GPU 集群上部署、监控和自动扩展 AI 语言模型，提供配置推荐和性能可观测性以提高效率。

本文提出了一种约束感知的GPU分配器，与FIFO调度相比，GPU利用率最高可提升33个百分点，突显了基于优先级的分配在企业AI系统中的关键作用。

本文认为，GPU利用率正成为企业AI的关键瓶颈，类似于航空中的飞机利用率，而闲置的GPU代表着浪费的算力，这种算力决定了竞争优势。

llama.cpp Console 是一款 Windows 桌面应用，提供图形界面来管理 WSL/Ubuntu 中的 llama.cpp，涵盖安装、构建、模型下载和服务部署。

swm 是一个开源工具，通过一键安装ComfyUI、Ollama等框架来简化云GPU的使用，并能在会话之间自动保存整个工作区，从而实现跨提供商的无缝迁移。