sleep-states

#sleep-states

为什么本地代理不应在显存中保持所有模型热加载：来自代理循环的实际数据

Reddit r/AI_Agents ↗ · 2026-09-11

通过实现一个基于Rust的守护进程来动态休眠不活跃的AI模型，本地代理的GPU内存使用可以从122 GB减少到43 GB，唤醒延迟低于200毫秒，使得在单个工作站上运行多个模型变得可行。

0 人收藏 0 人点赞