auto-scaling

Cursor 现在支持在您自己的基础设施上运行云代理，并提供自动扩展功能，使得可以访问内部服务和专用硬件。

ENOVA 是一个开源服务，简化在 GPU 集群上部署、监控和自动扩展 AI 语言模型，提供配置推荐和性能可观测性以提高效率。

本文提出了一种面向无服务器环境的依赖感知自动缩放框架，集成了基于图的瓶颈识别、通过概率集成的多模型预测（MLP、LSTM、CNN）以及成本感知的缩放控制。实验表明，预测准确率达到99.88%，并降低了基础设施成本。

Modal 正在通过增量压缩和其他技术增强开源强化学习框架，以训练前沿开放权重模型。slime 框架将无损增量同步引入分解式训练环境。